Feature Selection vs. Feature Extraction

🧜‍♂️ 빅데이터의 경우 feature 수가 너무 많아서 데이터를 처리하는 데 복잡하다. 따라서 우리는 적절하게 중요 feature만 선택하거나, 기존 feature들을 재조합한 일부 feature만 선택할 수 있다.

 

🧜‍♂️ for dimensionality reduction.. → 모델 복잡성 감소, 과적합 현상 방지, 일반화 성능 향상, 모델 computation 효능 향상을 위해 기존 feature를 이용해 selection & extraction을 진행한다

 

🧜‍♂️ 데싸를 공부한다면 반드시! 거쳐가야 할, 학습해야 할 두 가지 technique

 

- feature extraction(하단 좌) & feature selection(하단 우) -

 

 

🧜‍♂️ feature extraction은 기존의 feature들을 토대로 최대한 중요한 정보만 알짜배기로 모아 새로운 feature들을 만드는 것이고, feature selection은 기존 feature들 일부만 그대로 선택한다.

'while the original features are maintained in the case of feature selection algorithms, the feature extraction algorithms transform the data onto a new feature space.'

 

🧜‍♂️ feature selection - 선택된 feature 해석이 쉽다 & 하지만 feature 간의 연관성이 고려되지 않은 채로 feature 일부를 select하였으므로 이를 꼭 알고 있어야 함

 

🧜‍♂️ feature extraction - feature 간의 연관성을 고려한 채로 feature 수를 줄일 수 있다. 하지만 새롭게 만든 feature들이므로 feature 해석이 어렵다는 단점이 존재

 

🧜‍♂️ 사용 case가 다름!

(1) feature selection은 모델을 설명하는 게 중요할 때 주로 쓰이고(기존 feature 일부를 그대로 보존하기 때문에)

(2) feature extraction은 모델의 예측성능을 높일 때 주로 쓰인다(직접 여러 feature를 재조합해서 성능을 높이는 게 관건이기 때문). 

1. feature selection

① 규제화 - regularization - L1 norm을 통해서 (LASSO) 일부 feature만 선택할 수 있다

 

② 곧 배울 estimator - randomforestclassifier를 이용해 feature_importances_ 속성을 기준으로 feature 선택도 가능하다

 

③ greedy search 알고리즘 사용 (genetic algorithm 등등)

 

④ sklearn의 feature_selection module - selectKBest 사용

feature selection (1) - selectKBest (+jointplot)

 

★ 더 자세한 feature selection은 아래 scikit-learn docu 홈페이지를 통해 볼 수 있다! (곧 정리해서 포스팅 예정)

https://scikit-learn.org/stable/modules/feature_selection.html#univariate-feature-selection

2. feature extraction

🖐 일단 feature extraction의 목표는 최대한 정보를 잃지 않는 선에서 data를 최대한 압축하는 것이다.

 

① PCA - Principal Component Analysis - eigenvector를 이용해 여러 주축을 찾고 주축 기반 feature를 extract하는 과정 (곧 배움!)

 

② auto-encoder

 

🖐 그렇다면 feature engineering과 feature extraction과의 차이점은?

 

FE - Feature Engineering

 

→ 기존 raw data 옛날 data를 사용할 수 있는 가 없는 가의 차이이다! FE의 경우 원래 사용할 수 있는 feature들을 가지고 직접 재조합해 새로운 feature를 만드는 과정이고, feature extraction은 기존 raw data는 사용할 수 없고, 해당 data에서 반드시 유용한 정보만을 뽑아 재조합해 새로운 data를 가지고 진행해야만 하는 과정일 때 feature extraction이라고 한다

 

* 개념 숙지 완료!

3. feature selection vs. feature extraction 정리

	feature selection	feature extraction
설명	원래 특성들 중 일부만 선택	원래 특성들의 정보를 활용 - 새로운 특성 생성
새로운 특성 생성 여부	x	O
단점	선택되지 않은 특성들은 분석에서 사용 x	새롭게 만든 feature 해석의 어려움

---

* 썸넬 출처) https://www.vectorstock.com/royalty-free-vector/extracting-data-color-icon-vector-29110777

* 출처1) https://vitalflux.com/machine-learning-feature-selection-feature-extraction/

* 출처2) https://www.researchgate.net/figure/Difference-between-feature-extraction-and-feature-selection_fig1_339209170

* 출처3) https://stackoverflow.com/questions/39130600/what-is-the-difference-between-feature-engineering-and-feature-extraction