"경사하강법"이란 함수의 기울기로 최소값을 찾아내는 알고리즘으로, 뉴럴네트워크를 공부하면서 나오는 기초 알고리즘 중의 하나이다. 값을 찾기위한 경사하강법의 수식은 아래와 같다. 여기서 (nabla) 는 벡터공간에 대한 스칼라 장의 구배를 의미한다. 간편한 프로그래밍의 예를 들기위해 사용을 할 것은 2차함수이므로, x항에 대한 편미분 항 이외는 무시 할 수 있다. 따라서 아래와 같이 간략하게 나타낼 수 있다. 여기서 는 학습계수로써, 값을 크게 할 수록 반복계산 횟수는 짧아지지만, 결과값에 최대한 근접하기 위해서 결과가 진동을 하게 된다. 이와는 반대로, 값을 작게 하면 결과는 좀 더 정확하게 나오지만, 값을 찾기까지의 시간이 더 오래걸린다. 따라서, 자기가 해결하고 싶은 상황에 따라서 값을 구하는 것을 ..