편향/분산 트레이드 오프 (Bias/variance trade-off)

Bias/variance trade-off

지도 학습 알고리즘이 트레이닝 셋의 범위를 넘어 지나치게 일반화 하는 것을 예방하기 위해

두 오차를 최소화 할 때 겪는 문제

 

Bias

잘못된 가정을 했을 때 발생하는 오차

높은 bias 값은 알고리즘이 데이터의 특징과 결과물과의 적절한 관계를 놓치게 만듦(under-fitting)

(정답 - 예측값 얼마나 차이 있음??)

 

Variance

Training 셋에 내재된 작은 fluctuation 때문에 발생하는 오차

높은 variance는 큰 노이즈까지 모델링에 포함시키는 over-fitting 문제 발생

(예측의 범위가 얼마나 큼??)

 

출처 : https://files.ai-pool.com/a/eba93f5a75070f0fbb9d86bec8a009e9.png

위 그림을 봐보자.

 

모델이 복잡할수록(high model complexity) bias는 감소하고 variance는 높아지며

(즉, over-fitting이 발생할 가능성 높음)

 

모델이 간단할수록(low model complexity) bias는 증가하고 variance는 낮아진다.

(즉, under-fitting이 발생할 가능성 높음)

 

 

 

 

 

https://ko.wikipedia.org/wiki/%ED%8E%B8%ED%96%A5-%EB%B6%84%EC%82%B0_%ED%8A%B8%EB%A0%88%EC%9D%B4%EB%93%9C%EC%98%A4%ED%94%84

편향-분산 트레이드오프 - 위키백과, 우리 모두의 백과사전