Batch Normalization1 Batch Normalization 문제점 : Internal Covariate Shift 학습 시 현재 layer의 입력은 모든 이전 layer의 파라미터의 영향을 받게 되며, 망이 깊어짐에 따라 이전 layer에서의 작은 파라미터 변화가 증폭되어 뒷단에 큰 영향을 끼침 Covariate shift : 학습하는 도중에 이전 layer의 파라미터 변화로 인해 현재 layer의 입력의 분포가 바뀌는 현상 Covariate의 해결책으로 제시된 것 Whitening - Layer로 들어가는 입력을 whitening(평균 0, 분산 1로 바꿔준다) - 하지만 단순하게 whitening만 한다면, whitening 과정과 parameter를 계산하기 위한 최적화 과정(backpropagation)과 무관하게 진행되기 때문에 특정 파라미터가 계속 커.. 2020. 7. 6. 이전 1 다음
