딥러닝관련/기초 이론43 Batch Normalization 문제점 : Internal Covariate Shift 학습 시 현재 layer의 입력은 모든 이전 layer의 파라미터의 영향을 받게 되며, 망이 깊어짐에 따라 이전 layer에서의 작은 파라미터 변화가 증폭되어 뒷단에 큰 영향을 끼침 Covariate shift : 학습하는 도중에 이전 layer의 파라미터 변화로 인해 현재 layer의 입력의 분포가 바뀌는 현상 Covariate의 해결책으로 제시된 것 Whitening - Layer로 들어가는 입력을 whitening(평균 0, 분산 1로 바꿔준다) - 하지만 단순하게 whitening만 한다면, whitening 과정과 parameter를 계산하기 위한 최적화 과정(backpropagation)과 무관하게 진행되기 때문에 특정 파라미터가 계속 커.. 2020. 7. 6. 왜 딥러닝(deep learning) 이라고 하는가 이 책은 그런 좀 더 직관적인 문제에 대한 하나의 해결책을 다룬다. 그 해결책이란, 컴퓨터가 개념들의 계통구조를 이용해서 경험으로부터 배우고 세상을 이해하게 만든다는 것 개념 계통구조에서 각 개념은 자신보다 더 간단한 개념들과의 관계를 통해서 정의된다. 이러한 접근 방식에서는 경험으로부터 지식을 수집하기 때문에, 컴퓨터에 필요한 모든 지식을 인간 운영자가 형식적으로 일일이 지정할 필요가 없다.. 개념 계통구조 덕분에 컴퓨터는 간단한 개념들을 조합해서 좀 더 복잡한 개념을 배우게 된다. 그러한 개념들의 연결 관계를 그래프 구조로 표현한다면, 여러 층(layer)으로 이루어진 '깊은' 그래프가 나올 것이다. 이 때문에 이러한 인공지능 접근 방식을 심층 학습(deep learning) 이라고 부른다. This.. 2020. 7. 1. Sensitivity(민감도) & Specificity(특이도) Sensitivity - 의학적 진단 기준 : 질병이 있는 사람을 얼마나 잘 찾아내는가, 질병이 있는 사람을 질병으로 진단하는 비율 - 생체인식 기준 : Authentic을 authentic으로 잘 구분한 경우 - True Positive Rate - 양성을 양성으로 판단 Specificity - 정상을 얼마나 잘 찾아 내는가, 정상을 정상이라고 진단하는 비율(의학적 진단 기준) - 생체인식 기준: Impostor을 imposter으로 잘 구분한 경우 - True Negative Rate - 음성을 음성으로 판단 Relevant elements는 말그대로 유사한 elements, 양성인 elements와 음성인 elements를 표현한 것이다. 동그라미 구간 : positive으로 인식되는 영역 나머지 .. 2020. 7. 1. 이전 1 ··· 8 9 10 11 다음
