규제가 있는 선형 모델

Over-fitting을 감소시키는 좋은 방법은 규제를 하는 것.

 

자유도를 줄이면 데이터에 over-fitting되기 어려움.

ex) 다항 회귀 모델을 규제하는 간단한 방법은 차수를 감소시키는 것.

 

선형 회귀 모델에ㅐ서는 보통 모델의 weight를 제한함으로써 규제를 함.

 

1. 릿지 규제(ridge regularization)

위 수식이 cost fuction에 추가됨.

 

이는 학습 알고리즘을 데이터에 맞추는 것뿐만 아니라 모델의 가중치가 가능한 한 작게 유지되도록 노력

 

당연히도, regularization term은 학습 중에만 loss function에 추가

 

α는 모델을 얼마나 많이 규제할지 조절하는 파라미터

α가 0이면 ridge regression은 linear regression과 동일

α가 매우 크면 모든 가중치가 거의 0에 가까워짐.

 

Ridge regression에서의 cost function

(i가 1부터 시작하는 이유는 편향 θ_0이 규제되지 않기 때문에)

 

만약 여기서 w를 feature weight vector(θ1 to θn)로 정의한다면

 

regularization term은 아래와 같이 작성할 수 있다.

 

위는 weight vector의 l2 norm

 

 

이 글의 내용은 많은 부분 아래 링크인 핸즈온 머신러닝 2판을 참고했으며

영리 목적이 아닌 개인적인 학습을 위해 정리한 내용을 바탕으로 작성했음을 밝힙니다.

 

 

내용 참고

https://book.naver.com/bookdb/book_detail.nhn?bid=16328592

핸즈온 머신러닝