개요
Lasso(Least Absolute Shrinkage and Selection Operator) 회귀모형은 가중치의 절대값의 합을 최소화하는 것을 추가적인 제약 조건으로 한다.
- [math]w = \text{arg}\min_w \left( \sum_{i=1}^N e_i^2 + \lambda \sum_{j=1}^M | w_j | \right)[/math]
선형 회귀모델의 가중치 optimization에 사용된다. Linear penality는 가중치들이 zero로 가도록 유도한다. 미분가능하지 않으며 closed form solution이 존재하지 않는다. Ridge Regression과는 다르게 Lasso Regression은 weight들이 0으로 향하는 강한 방향성을 제시한다. 즉 많은 weight들이 0으로 가고 어떤 weight들이 0이 아닌값을 가지게 되어 선형회귀 시키게 된다. Ridge 모형은 가중치 계수를 한꺼번에 축소시키는데 반해 Lasso 모형은 일부 가중치 계수가 먼저 0으로 수렴하는 특성이 있다.
L1 Norm이라고 불리기도 한다.