softmax 역전파1 신경망 정리 10-3 (오차 역전파 활성화 함수 계층 구현, Affine/Softmax) Affine 계층 X = np.random.rand(2) # 입력 W = np.random.rand(2, 3) # 가중치 B = np.random.rand(3) # 편향 X.shape # (2,) W.shape # (2, 3) B.shape # (3,) Y = np.dot(X, W) + B X, W, B는 각각 shape이 (2,), (2, 3), (3,)인 다차원 배열 신경망의 순전파 때 수행하는 행렬의 내적을 기하학에서는 affine transform이라고 함 위 연산을 그래프로 표현하면 아래와 같다. 이제까지의 계산 그래프는 노드 사이에 '스칼라값'이 흘렀지만, 위는 '행렬'이 흐르고 있음. 행렬을 사용한 역전파도 행렬의 원소마다 전개해보면 스칼라값을 사용한 지금까지의 계산 그래프와 같은 순서로 생.. 2021. 7. 19. 이전 1 다음
