(L1 Regularization) → LASSO Regression (concepts)

🥑 과적합 문제를 피하기 위해 기존회귀계수들의 제곱합에 λ penalty를 부과해 새로운 data에 알맞은 예측을 하게끔 해주는 Ridge 규제에 대해 배웠다.

 

(L2 Regularization) → Ridge Regression (concepts)

 

(L2 Regularization) → Ridge Regression (w/scikit-learn)

 

🥑 동일한 Regularization인데, 약간 다른 L1 Regularization - LASSO에 대해서 알아보자

* Ridge & Lasso formula 정리>

① Ridge

 

Q. Ridge = '위 비용함수 $J(\beta)$를 최소로 하는 회귀계수 $\hat{\beta}^R$를 찾는 문제

 

 

📣 $J(\beta)$에는 두 term이 있는데 이 term들의 합을 최소로 하는 회귀계수들을 구하는 문제라고 바꿔 해석할 수 있고, 이 중 규제항이 들어간 term만 빼낸다. 각 회귀계수들의 제곱합이 최소가 되어야 하므로, 이는 $\sum_{j=1}^{k} {\beta_j}^2$은 규제항에 의해 임의의 상수 t이하여야 하는 condition으로 바꿔 쓸 수 있다. 따라서 이 condition을 $J(\beta)$에서 빼내고 다시 정리하면.. 

 

 

📣 시각화를 쉽게 하기 위해 $\beta_1, \beta_2$를 x, y축으로 한다면, 규제항은 한 원으로 표현이 될 것이다. 그리고 $\hat{\beta}^R$은 이제 한 개의 term으로 만들어졌으며, 해당 term은 $\beta$를 기준으로 타원형(elipse contour plot) 식이 만들어진다. 타원의 중심이 해당 term이 최소가 되는 곳이며, 점점 타원이 커질수록 해당 term의 값이 커진다.

 

📣 규제항으로 표현되는 원과 타원이 최소한으로 표현되는 곳이 서로 만나는 지점 (만나긴 해야한다. 규제항을 적용해야 하므로)이 존재한다. 만나기까지의 거리, 즉 타원과 원 사이의 거리가 최소가 되는 지점이 우리가 원하는 ridge coefficients' vector 해가 된다.

② Lasso

 

Q. Lasso = '위 비용함수 $J(\beta)$를 최소로 하는 회귀계수 $\hat{\beta}^L$를 찾는 문제

 

 

📣 Ridge와 모든 부분은 동일하고, 다만 규제항이 절댓값이 들어가서 해당 term을 따로 빼내면 임의의 상수 t가 들어간 condition은 아래와 같이 원이 아닌, 마름모로 표현된다.

 

 

📣 역시 마름모와 타원이 만나는 지점이 존재해야 할 것이고, 두 지점간의 거리가 최소가 되는 곳이 우리가 원하는 lasso coefficients' vector 해가 된다.

 

 

📣 그 결과, 원으로 규제항이 표현된 ridge의 경우 최소 거리로 만나는 지점은 x 또는 y축의 값이 둘 다 0이 아닌 경우가 되고, lasso의 경우 마름모 규제항이므로 최소 거리로 만나는 지점이 주로 x 또는 y 중 적어도 한 개 이상이 0이 되는, 즉 coefficient가 0이 되는 경우가 나오게 된다. 

* Ridge & Lasso concept 비교>

☀️ 둘 다 penalty 값은 0에서 +$\infty$이며 CV - cross validation 기법으로 최적의 penalty 값 $\lambda$를 구한다.

 

☀️ 모델링에 참여하는 variable이 대부분 유용하고 사용되어야 한다고 판단되면 Ridge

☀️ 일부 variable은 쓸모 없다고 판단되면 Lasso를 적용

---

<추후 실험 예정>

 

💫 1) 상황별 Ridge, Lasso 모델을 적용해보고 과연 위에서 적은 대로, Ridge와 Lasso가 적절한 때 쓰이면 generalization 능력이 좋아지는 지 확인

💫 2) Lasso coefficients 변화 / Ridge coefficients 변화와 비교해보기

💫 3) 기존 coefficients의 크기가 크고 작음에 따른 lasso(+ridge) 모델링 효과 비교분석해보기

---

* 출처1) STATQUEST 🥖 https://www.youtube.com/watch?v=NGf0voTMlcs 

* 출처2) ProDS (초급+중급1) 이론 강의

* 출처3) ridge, lasso 차이 visualization https://www.youtube.com/watch?v=Xm2C_gTAl8c