sigmoid1 신경망 정리 10-2 (오차 역전파 활성화 함수 계층 구현, Sigmoid) Sigmoid 시그모이드 함수는 아래와 같다. 위 함수를 아래와 같은 계산 그래프로 나타낼 수 있다. 1단계 '/'노드 y = 1/x를 미분하면 아래와 같다. 상류의 예측값에 -y^2을 곱해서 하류로 전달. 2단계 +노드는 그대로 흘려보낸다. 3단계 'exp' 노드의 미분은 아래와 같다. 계산 그래프에서는 상류의 값에 순전파 때의 출력을 곱해 하류로 전달 4단계 'X' 노드는 순전파 때의 값을 '서로 바꿔 곱한다' 이 예에서는 -1을 곱한다. 순전파의 입력 x와 y만으로 역전파를 계산을 할 수 있다. 위 sigmoid에 의해 역전파되는 값을 아래와 같이 정리할 수 있다. 위 처럼 sigmoid 계층의 역전파는 순전파의 출력(y)만으로도 계산할 수 있다. 코드로 sigmoid backpropagation .. 2021. 7. 19. 이전 1 다음
