경사법1 신경망 정리 6 (경사법, 경사 하강법) 경사법(gradient method) 기울기를 활용해 함수의 손실 함수의 최솟값(또는 가능한 한 작은 값)을 찾으려는 것이 경사법 그러나, 기울기가 가리키는 곳에 정말 함수의 최솟값이 있는지, 즉 그쪽이 정말로 나아갈 방향인지는 보장할 수 없다. 실제로 복잡한 함수에서는 기울기가 가리키는 방향에 최솟값이 없는 경우가 대부분. 함수가 극솟값, 최솟값, 또 안장점이 되는 곳에서는 기울기가 0 극솟값 : 국소적인 최솟값, 한정된 범위에서의 최솟값 경사법은 기울기가 0인 장소를 찾지만 그것이 반드시 최솟값이라고는 할 수 없다. (극솟값이나 안장점일 가능성도 있음) 또 복잡하고 찌그러진 모양의 함수라면 대부분 평평한 곳으로 파고들면서 고원(plateau)라고 하는, 학습이 진행되지 않는 정체기에 빠질 수 있다. .. 2021. 5. 24. 이전 1 다음
