Ahn9807: 새 문서: 분류: 지도 학습 가운데 == 개요 == Ridge 회귀모형에서는 가중치들의 제곱합(squared sum of weights)을 최소화하는 것을 추가적인 제약 조건으로 한다. L2-regularizer이라고도 불리며, Tikhonov regularization, Weight decay, SVM with hinge loss라 불리기도 한다. : $w = \text{arg}\min_w \left( \sum_{i=0}^N e_i^2 + \lambda \sum_{j=1}^M w_j^2 \right)$ 여기서 상수항...

2023-02-25T10:41:01Z

새 문서: 분류: 지도 학습 프레임없음|가운데 == 개요 == Ridge 회귀모형에서는 가중치들의 제곱합(squared sum of weights)을 최소화하는 것을 추가적인 제약 조건으로 한다. L2-regularizer이라고도 불리며, Tikhonov regularization, Weight decay, SVM with hinge loss라 불리기도 한다. :<math>w = \text{arg}\min_w \left( \sum_{i=0}^N e_i^2 + \lambda \sum_{j=1}^M w_j^2 \right)</math> 여기서 상수항...

새 문서

[[분류: 지도 학습]]
[[파일:Ridge Regression.png|프레임없음|가운데]]

== 개요 ==
Ridge 회귀모형에서는 가중치들의 제곱합(squared sum of weights)을 최소화하는 것을 추가적인 제약 조건으로 한다. L2-regularizer이라고도 불리며, Tikhonov regularization, Weight decay, SVM with hinge loss라 불리기도 한다.
:<math>w = \text{arg}\min_w \left( \sum_{i=0}^N e_i^2 + \lambda \sum_{j=1}^M w_j^2 \right)</math>
여기서 상수항 <math>w_o</math>는 제약조건에서 제외하게 된다.

λ는 기존의 잔차 제곱합과 추가적 제약 조건의 비중을 조절하기 위한 하이퍼 모수(hyper parameter)이다. λ가 크면 정규화 정도가 커지고 가중치의 값들이 작아진다. λ가 작아지면 정규화 정도가 작아지며 λ 가 0이 되면 일반적인 [[선형 회귀]]모형이 된다.

== 람다의 설정 ==
[[파일:Held-out set.png|섬네일]]
람다는 하이퍼 파라미터로 직접 설정해 주어야 한다. 이러한 람다의 설정에는 두가지 방식이 있는데, 직접 held-out set을 설정하는 방식과, tranning set을 나누어서 k-1개는 tranning에 1개는 held-out에 사용하는 [[k-fold]]방식이 있다.

== 참고 ==
https://datascienceschool.net/view-notebook/83d5e4fff7d64cb2aecfd7e42e1ece5e/

Ridge 회귀 모형 - 편집 역사