딥러닝관련/기초 이론43 신경망 정리 9 (연쇄 법칙 chain rule) 국소적 미분을 전달하는 원리는 연쇄법칙(chain rule)에 따른 것. y = f(x)의 계산을 역전파 하면... 순방향과는 반대 방향으로 국소적 미분을 곱한다. 신호 E에 노드의 국소적 미분을 곱한 후 → 다음 노드에 전달하는 것 여기서의 국소적 미분 : 순전파 때의 y = f(x) 계산의 미분. 이는 x에 대한 y미분을 구하는 뜻. 만약 y = f(x) = x^2 이면, 미분값인 2x를 상류에서 전달된 E와 곱해 앞쪽 노드로 전달. 연쇄 법칙 연쇄 법칙을 위해서는 합성 함수 이야기부터 시작. 합성 함수 : 여러 함수로 구성된 함수 예를 들어 z = (x + y)^2 이라는 식은 아래와 같이 두 개의 식으로 구성 연쇄법칙은 합성 함수의 미분에 대한 성질이며, 다음과 같이 정의 합성 함수의 미분은 합성.. 2021. 5. 30. 신경망 정리 8 (오차역전파법) 이전까지는 가중치 매개변수에 대한 손실 함수의 기울기는 수치 미분을 사용해 구현 수치 미분은 단순하고 구현하기도 쉽지만 계산이 오래 걸린다는 게 단점. 가중치 매개변수의 기울기를 효율적으로 계산하는 '오차역전파(back propagation)'이 있음 back propagation의 계산 과정을 그래프로 나타낼 수 있으며 이를 계산 그래프(computational graph)라고 표현 노드(node)와 엣지(edge)로 표현된다. 1. 계산 그래프로 풀기 ex) 슈퍼에서 1개에 100원인 사과 2개 구매. 이때 지불 금액 계산, 단 소비세가 10% 부과 아래와 같이 표현 가능 계산 그래프에 의해 220원을 지불한다는 사실을 안다. 위 그래프에서 연산만 노드안에 표기하고, 개수와 세율을 밖으료 표기해본다... 2021. 5. 29. 신경망 정리 7 (학습 알고리즘 구현) 2021.05.24 - [딥러닝관련/기초 이론] - 신경망 정리 6 (경사법, 경사 하강법) 신경망 정리 6 (경사법, 경사 하강법) 경사법(gradient method) 기울기를 활용해 함수의 손실 함수의 최솟값(또는 가능한 한 작은 값)을 찾으려는 것이 경사법 그러나, 기울기가 가리키는 곳에 정말 함수의 최솟값이 있는지, 즉 그쪽이 정 better-tomorrow.tistory.com 위 내용에 이어 학습 알고리즘을 구현한다. 신경망 학습의 절차 1단계 - 미니배치 훈련 데이터 중 일부를 무작위로 가져온다. 이렇게 선별한 데이터를 미니배치라 하며, 그 미니배치의 손실 함수 값을 줄이는 것을 목표로 한다. 2단계 - 기울기 산출 미니배치의 손실 함수 값을 줄이기 위해 각 가중치 매개변수의 기울기를 구한.. 2021. 5. 29. 기초 행렬 이론 정리 1. 성분별 곱(element-wise product) or 아다마르 곱(Hadamard product) -> 행렬들과의 성분끼리 곱하는 연산 (A ⊙ B 로 표현) 2. 내적(dot product) -> 차원이 같은 두 벡트 x와 y의 내적은 아래와 같은 행렬곱이다 그리고 행렬곱 C =AB에서 아래의 각 성분은 A의 i 행과 B의 j 열의 내적에 해당된다. (중고등학교 때 배웠던 행렬 연산과 동일) 3. 행렬 전치 4. 대칭 행렬 -> 전치행렬이 자기 자신의 행렬이 될 때 예시 5. 단위 벡터 -> 길이가 1인 벡터 6. 직교 벡터 (Orthogonal Vector) -> 벡터 x와 y가 아래의 식을 만족할 때, 그러한 두 벡터를 가리켜 서로 직교(orthogonal)라고 말한다. 7. 정규 직교 벡터.. 2021. 5. 27. 이전 1 ··· 3 4 5 6 7 8 9 ··· 11 다음
