ML Supervised Learning → Regression → Linear Regression

1. ML 기법 구분

💆🏽‍♂️ 답이 주어져 있는 Supervised Learning

🙅🏽 답이 주어져 있지 않은 UnSupervised Learning

 

→ Simple Linear Regression(단순선형회귀)은 답이 주어져 있는 Dependent variable & Independent variable 간의 관계를 나타내준다.

→ 따라서 Simple Linear Regression은 지도학습(Supervised Learning)의 일종!

 

2. Supervised Learning

→ 지도학습은 하단 그림과 같은 model 절차를 따라간다.

 

 

(위 그림 설명!) - 1-2-3-4-5 순서 잘 따라가기

 

① test, docu, image와 같은 다양한 format의 data에서 특징 vector(X)를 뽑아온다

② labeling할 labels data(y)를 가져온다

 

'A supervised learning algorithm makes the distinction between the raw observed data X with shape (n_samples, n_features) and some label given to the model while training by some teacher. In scikit-learn this array is often noted y and has generally the shape (n_samples,).'

 

→ 여기서 y의 종류에 따라 supervised learning은 다른 이름을 가진다..!

 

'If y has values in a fixed set of categorical outcomes (represented by integers) the task to predict y is called classification. If y has floating point values (e.g. to represent a price, a temperature, a size...), the task to predict y is called regression.'

- 즉 범주화로 표현되는 (단, 정수로 discretazied된! 예를 들면 0과 1로) 분류 & float로 표현되는 회귀로 나뉨!

 

◈ classification vs. regression ◈

 

property	classification	regression
output type	discrete (class labels)	continuous (number)
what to find?	decision boundary	"best fit line(it might not be line)"
evaluation metrics	accuracy	sum of squared error / r squared

→ classification으로 discrete된 data를 묶고, regression으로 continuous한 result에 대응되는 line을 만든다

 

③ 주어진 특징 vector & label data를 기반으로 ML 알고리즘 생성! fit(X,y)

(즉, 특징 vector를 가지고 labels 대상을 결과로 나오는 알고리즘을 fitting 시킨다!)

 

model.fit(X,y)

 

→ 즉, 우리는 머신러닝을 통해 주어진 data와 답을 가지고 관련 rule을 찾아내는 것이라고 말할 수 있다 💁🏽

 

'A machine-learning system is trained rather than explicitly programmed. It’s presented with many examples relevant to a task, and it finds statistical structure in these examples that eventually allows the system to come up with rules for automating the task. For instance, if you wished to automate the task of tagging your vacation pictures, you could present a machine-learning system with many examples of pictures already tagged by humans, and the system would learn statistical rules for associating specific pictures to specific tags.'

 

④ 자 그렇게 해서 만들어진 ML algorithm을 기반으로 이제 새로운 feature vector, 즉 X가 들어왔을 때 ML algorithm에 의해 만들어진 predicted model을 기반으로 기대되는 expected label을 만들면 끝!

 

⑤... 우리는 앞으로 복잡한 여러 Supervised Learning 기법을 배울 것이다! - 각 기법별 추후 포스팅 참조 💃🏽

 

★ classification / regression model 종류 (하단 참조)

 

3. Regression / Linear Regression

* Supervised Learning에 대해 배웠다. 이젠 그 중 한 기법인 'Regression 기법'에 대해서 배워보자

 

Q. Regression이란?

'Regression is the task of predicting the value of a continuously varying variable (e.g. a price, a temperature, a conversion rate...) given some input variables (a.k.a. the features, “predictors” or “regressors”).'

 

→ continuous하게 변하는 지속적인 변수를 예측할 때 쓰이는 기법이 Regression!

→ 즉, 그 뜻은 categorical 한 변수를 예측할 때는 regression 기법이 쓰이지 않는다는 점

 

Q. Linear Regression이란?

👉 Regression인데 예측하는 model이 line의 형태로 나타나는 regression

 

- line의 형태로 regression되어 있는 linear regression 예 -

 

 

1> independent variable → dependent variable에 영향을 준다

2>

- positive relationship) independent variable 값이 증가하면서 dependent variable 값도 증가!

- negative relationship) independent variable 값이 증가하면서 dependent variable 값이 감소!

3>

- Simple Linear Regression) feature가 1개이고 target이 1개

- Multiple Linear Regression) feature가 2개 이상이고 target이 1개

 

🙌 이제 전체적인 개요에 대해서 알았으니 종류별 Regression에 대해 추후 포스팅으로 자세히 알아보자 🙌

안녕 🖐

---

** 출처1) https://www.youtube.com/watch?v=G_0W912qmGc 

** 출처2) https://www.youtube.com/watch?v=zPG4NjIkCjc 

** 출처3) https://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/tutorial/text_analytics/general_concepts.html#machine-learning-101-general-concepts

** 출처4) https://livebook.manning.com/book/deep-learning-with-python/chapter-1/19