기계 학습에서 확률의 필요성

기계 학습은 항상 불확실한 수치들을 다루어야 하며, 확률적(stochastic) 또는 비결정론적(nondeterministic) 수치들을 다룰 때도 있다.

 

거의 모든 활동에는 불확실성의 존재를 추론하는 어떤 능력이 필요하다.

 

많은 경우, 복잡하지만 확실한 규칙보다는 간단하지만 불확실한 규칙을 사용하는 것이 좀 더 실용적이다.

 

예시)

 

1. "대부분의 새는 하늘을 난다" : 간단한 규칙이며 개발 비용이 낮고 적용 범위가 넓다.

 

2. "새가 하늘을 난다, 단 다음은 예외다 : 아직 비행 방법을 배우지 못한 아주 어린 새나, 상처를 입어서 날 수 없는 새, 애초에 날 수 없는 새... 등등" : 복잡한 규칙이며 개발, 유지 보수, 설명하기가 어려울 뿐만 아니라, 개발했다 해도 고장 날 가능성이 있다.

 

원래 확률론은 사건의 빈도수를 분석하려고 개발한 것이다. (포커에서 일정 개수의 카드를 뽑는 것 등 반복적인 시행)

 

그러나, 반복할 수 없는 없는 명제들에는 확률을 적용할 수 없을 것 같다.

 

예를 들어, 의사가 환자 한 명을 진단한 후 환자가 독감에 걸렸을 가능성이 40%라고 말하는 것은 앞의 추론과는 성격이 아주 다르다.

 

환자를 무한히 복제할 수는 없으며, 그것이 가능하다 해도 환자의 여러 복제본이 증상은 같지만 그 바탕 조건은 다를 것이라고 추론할 근거도 없다. 

 

환자를 진단하는 의사의 경우 확률은 사건의 비율이 아니라 믿음의 정도(degree of belief), 줄여서 확신도를 나타낸다.

 

확신도가 1인 경우 환자가 독감에 걸렸음이 절대적으로 확실하다는 뜻이고,

확신도가 0인 경우 환자가 독감에 걸리지 않았음이 확실하다는 뜻.

 

일반적인 확률의 경우 빈도론자 확률이라고 부르고, 위와 같이 확실성의 수준을 수치화하는데 관련된 확률을 흔히 베이즈 확률 (Bayesian probability) 이라고 부른다.

 

불확실성에 관한 추론이 갖추리라고 기대하는 성질을 충족하는 방법은 베이즈 확률을 빈도론자 확률과 같은 방식으로 취급하는 것뿐임을 알 수 있다.

 

확률에 대해 논리를 불확실성까지 다룰 수 있도록 확장한 것이라고 생각해도 좋을듯 하다.

 

논리학은 어떤 명제가 주어진 가정하에서 참인지 아니면 거짓인지를 결정하는 형식적인 규칙들을 제공한다.

 

확률론은 다른 명제들의 가능도(likelihood)가 주어졌을 때 어떤 명제가 참일 가능도를 결정하는 형식적인 규칙들을 제공한다.

 

참고

 

http://www.yes24.com/Product/Goods/65576412 

심층 학습

http://www.deeplearningbook.org/contents/intro.html

https://www.deeplearningbook.org/contents/intro.html