딥러닝관련/기초 이론43 규제가 있는 선형 모델 Over-fitting을 감소시키는 좋은 방법은 규제를 하는 것. 자유도를 줄이면 데이터에 over-fitting되기 어려움. ex) 다항 회귀 모델을 규제하는 간단한 방법은 차수를 감소시키는 것. 선형 회귀 모델에ㅐ서는 보통 모델의 weight를 제한함으로써 규제를 함. 1. 릿지 규제(ridge regularization) 위 수식이 cost fuction에 추가됨. 이는 학습 알고리즘을 데이터에 맞추는 것뿐만 아니라 모델의 가중치가 가능한 한 작게 유지되도록 노력 당연히도, regularization term은 학습 중에만 loss function에 추가 α는 모델을 얼마나 많이 규제할지 조절하는 파라미터 α가 0이면 ridge regression은 linear regression과 동일 α가 매우.. 2022. 2. 27. 편향/분산 트레이드 오프 (Bias/variance trade-off) Bias/variance trade-off 지도 학습 알고리즘이 트레이닝 셋의 범위를 넘어 지나치게 일반화 하는 것을 예방하기 위해 두 오차를 최소화 할 때 겪는 문제 Bias 잘못된 가정을 했을 때 발생하는 오차 높은 bias 값은 알고리즘이 데이터의 특징과 결과물과의 적절한 관계를 놓치게 만듦(under-fitting) (정답 - 예측값 얼마나 차이 있음??) Variance Training 셋에 내재된 작은 fluctuation 때문에 발생하는 오차 높은 variance는 큰 노이즈까지 모델링에 포함시키는 over-fitting 문제 발생 (예측의 범위가 얼마나 큼??) 위 그림을 봐보자. 모델이 복잡할수록(high model complexity) bias는 감소하고 variance는 높아지며 (즉.. 2022. 2. 27. 다항 회귀 (polynomial regression) Polynomial Regression(다항 회귀) 다항... 다항.... 다항의 의미는 한 개 이상의 항의 합으로 이루어진 식 이라고 표현한다. https://ko.wikipedia.org/wiki/%EB%8B%A4%ED%95%AD%EC%8B%9D 다항식 - 위키백과, 우리 모두의 백과사전 수학에서, 다항식(多項式, 문화어: 여러마디식, 영어: polynomial)은 한 개 이상의 항의 합으로 이루어진 식이다. 즉, 단항식의 결합(덧셈과 뺄셈)으로 이루어진 식이다. 예를 들어, x2 - 2x + 3, 4x3, 5xy + ko.wikipedia.org 기존에 보았던 식이 단항식 (y = ax) 와 같았다면 다항식은 여러 단항식의 조합으로 볼 수 있다. (보통 다항 회귀에서는 2차.. 3차 n차 항까지 표.. 2022. 2. 21. Mini-batch Gradient Descent(미니배치 경사 하강법) 2022.02.20 - [딥러닝관련/기초 이론] - Stochastic gradient descent(확률적 경사 하강법) Stochastic gradient descent(확률적 경사 하강법) 2022.02.20 - [딥러닝관련/기초 이론] - 경사 하강법(Gradient Descent) 경사 하강법(Gradient Descent) 2022.01.24 - [딥러닝관련/기초 이론] - 선형 회귀 (Linear Regression) 선형 회귀 (Linear Regression) 선.. better-tomorrow.tistory.com 위 글로부터 이어짐 Mini-batch gradient descent(미니배치 경사 하강법) (사실 이 방법이 실제 환경에서 제일 많이 쓰인다.) 간단하게 표현하면 아래와 같.. 2022. 2. 20. 이전 1 2 3 4 5 ··· 11 다음
