cross entropy loss2 Cross entropy loss 정리 한 번쯤 정리할 필요가 있다고 느꼈는데 이제 정리해본다. 보통 언급하는 cross entropy loss는 아래의 식들처럼 표현한다. 어렵게 생각할 필요 없고 위 식은 한개의 샘플에 대해서 아래의 식은 전체 샘플의(m)의 평균(1/m)을 계산하여 식을 만든 것으로 보면될 것이다. log안에 들어가는 값은(y or p) 모델의 output probability, log 앞에 붙는 값(t or y)은 true label로 생각하면 된다. 보통 true label은 one-hot으로 해당되는 라벨 인덱스만 1이고 나머지는 0이다. 단일 샘플에 대하여 cross entropy loss를 적용해보자 ex) true label = [0, 1, 0] output probability = [0.1, 0.6, 0.3] .. 2022. 3. 6. 신경망 정리 3 (신경망 학습, MSE, Cross entropy loss ....) 학습 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망이 학습할 수 있도록 해주는 지표 : 손실 함수 이 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표 데이터에서 학습한다 신경망의 특징 : 데이터를 보고 학습을 할 수 있다는 점 학습 → 가중치 매개변수의 값을 데이터를 보고 자동을 결정한다. 학습이 필요한 이유.. 퍼셉트론을 생각해보자. 사람이 수작업으로 매개변수의 값을 설정했어야 했다. 만약 이 매개변수가 많아 진다면.... 사람이 일일히 수작업으로 할 수 없다. 데이터 주도 학습 기계학습은 데이터가 생명. 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도. 만약 숫자 5를 인식하는 프로그램을 구현한다고 가정 막상 구.. 2021. 5. 12. 이전 1 다음
