Unsupervised Learning

📌 사실 ML에서 지도학습(Supervised Learning)보다 정답이 주어져 있지 않은, 비지도학습(Unsupervised Learning) 기법이 더 까다롭고, 정답이 주어져 있지 않아서 분석에 힘이 들 때가 많다.

 

 

📌 아래와 같이 label이 주어져 있지 않고 여러 개의 feature vector들의 모임을 통해 machine learning model에 집어넣는 형태이다.

 

 

 

📌 비지도학습(Unsupervised Learning)은 '정답이 주어져 있지 않은 data 그 자체를 머신러닝 알고리즘으로 분석하거나 클러스터링(clustering; 군집화)하는 과정'이다.

 

intro. Machine Learning

 

📌 크게 아래와 같이 나눌 수 있다.

 

🔍 dimensionality reduction

→ 차원축소기법은 비지도학습의 일종이다. 일종의 데이터 전처리 단계에서 정답이 주어져 있는 data라도 차원의 복잡성 문제를 해결하기 위해 차원축소 기법을 사용하기도 한다. 하지만, 대부분 정답이 주어져 있지 않은 data에서 연산하기에 차원이 너무 많다면 해당 차원 축소 기법을 사용해 data를 분석하고, 인사이트를 얻기 좋게 만든다.

 

→ 대표적인 예로 PCA를 배움

- PCA(concepts) https://sh-avid-learner.tistory.com/entry/feature-extraction1-PCAPrincipal-Component-Analysis-concepts

- PCA(w/code) https://sh-avid-learner.tistory.com/entry/feature-extraction1-PCAPrincipal-Component-Analysis-wcode

 

🔍 clustering

→ 주어진 그 data 자체를 유사성있는 data끼리 선별해 일종의 여러 group으로 만드는 과정이다.

→ 주어진 dataset을 요약/정리해주는 의미가 있으며, 주로 EDA 과정에서 많이 사용함

→ clustering algorithm 종류는 되게 많다! 아래 그림 중 대표적인 partition, hierarchy, distribution, density 네 개에 대해서 간략히 알아보자.

 

> ① hierarchical clustering

 

≫ 크게 두 가지로, (1) agglomerative: 개별 포인트에서 시작한 후  합쳐 나가는 방식;bottom-up approach & (2) divisive: 한 개의 큰 cluster에서 시작 후 점점 작은 cluster로 나뉘어 가는 방식; top-down approach로 나눌 수 있다.

≫ 일종의 hierarchy가 생성되므로 tree 구조의 형태인 dendrogram이 만들어진다. 일반적으로 hierarchical clustering을 시작하기 전에 이미 몇 개의 cluster로 나눌 지 k를 정해놓고, 완성된 dendrogram에서 depth를 구체적으로 정해 잘라내는 방식으로 진행된다. 즉, 다른 종류의 cluster method와 다른 좋은 점은, 미리 k를 정했더라도, 상황에 따라 나중에라도 내가 원하는 cluster의 개수(k)를 정하고 잘라낼 수 있다는 점!

≫ hierarchical clustering을 통해 분류되는 data objects간의 관계와 관련된 자세한 디테일을 알 수 있고, dendrgram이 제공된다

≫ 단점은, 연산 상 비싸며(high cost), 잡음과 이상치에 민감하다.

≫ deterministic process로 알고리즘을 몇 번을 돌려도 이미 정해진 cluster가 다시는 변하지 않음!

 

> ② partitional(centroid-based) clustering

 

≫  cluster별 centroid 중심점 기준으로 clustering되며, 즉 모든 data는 각각 한 개의 cluster에만 들어갈 수 있는 hard clustering 기법

≫ 즉 clustering method 적용 전 cluster 개수 k를 먼저 정해야 한다.

≫ 주로 iteration을 거치며 계속해서 clustering 과정을 거쳐 여러 묶음을 형성한다.

≫ 대표적인 예로 k-means & k-medoids가 있음!

≫ 여러 번 돌릴 때 마다 다른 결과가 나올 수 있으므로 nondeterministic process

≫ cluster들이 원형의 형태를 보일 때 쉽게 clustering이 가능한 장점이 있고, 그 반대로 복잡한 형태를 보이면 clustering되기 어렵다.

≫ 알고리즘 복잡성에 기인해 시간 복잡도 측정이 가능하지만, 다양한 density를 가진 cluster의 경우 적합하지 않은 method이다!

 

> ③ density-based clustering

 

≫ 아래 그림과 같이 회색점과 같은 outlier는 clustering에서 제외

≫ 밀집된 data끼리 어떤 도형으로라도 묶는 clustering (distance-based)

≫ 다양한 density나 높은 차원의 경우 clustering할 때 어려움이 있음

≫ 다른 clustering과 다르게 density-based는 clustering 개수 k를 미리 정할 필요가 없다.

≫ DBSCAN, OPTICS와 같은 알고리즘 존재

 

> ④ distribution-based clustering

≫ 일단 data가 특정 분포를 따른다는 가정부터 출발한다.

≫ 즉 분포를 모른다면 다른 clustering방법을 써야 함

≫ data가 주어진 분포에서 많이 벗어날수록 상대적으로 옅은 색에 속한다. (아래 그림 참조)

 

- (하단) 그림 참조 -

<상단 좌 - 우 - 하단 좌 - 우 차례로 ①-②-③-④>

 

 

🔍 연관규칙학습 (association rule learning)

→ 데이터셋의 feature들간의 관계를 발견하는 방법이다.

---

* 썸네일 출처) https://mark-youngson5.medium.com/artificial-intelligence-the-beginning-of-a-new-era-3e3838807887

* 출처1) clustering 개념 https://realpython.com/k-means-clustering-python/

* 출처2) clustering 종류 관련 논문 https://link.springer.com/article/10.1007/s40745-015-0040-1

* 출처3) clustering 종류별 설명 https://developers.google.com/machine-learning/clustering/clustering-algorithms

* 출처4) unsupervised learning 과정 https://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/tutorial/text_analytics/general_concepts.html#machine-learning-101-general-concepts

* 출처5) hard vs. soft clustering) https://medium.com/fintechexplained/machine-learning-hard-vs-soft-clustering-dc92710936af