sgd1 신경망 정리 (학습 관련 기술들 - optimizer) 신경망 학습의 목적 Loss function의 값을 가능한 한 낮추는 parameter를 찾는 것. Loss function의 값을 가능한 낮추기 위한 parameter의 최적값을 찾는 문제. -> 최적화(optimization) parameter의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 일을 몇 번이고 반복해서 최적의 값에 다가감. 최적화는 backpropagation 과정 중에 weight를 업데이트하면서 진행되는데, 이때 한 스텝마다 이동하는 발자국의 크기 (보폭)은 Learning Rate로 정의되고 앞으로 이동할 방향은 Gradient를 통해 정의된다 Gradient Descent 이전에 설명했던 바와 같이, Gradien Descent는 기울기를 활용해 함수의 손실 함수의 최.. 2021. 8. 16. 이전 1 다음
