Ordinal Encoding

👀 머신러닝 모델은 모든 input과 output이 numeric 수치형이어야 한다는 전제조건이 깔려 있다! 즉, 우리가 마주한 data가 categorical variable이라면 모델에 집어넣기 전에 미리 numeric 수치형으로 바꾸어주는 작업이 필요한 것이다.

 

🕵️‍♂️ 그 중 대표적인 예로 One-Hot Encoding 기법에 대해 배웠다

 

One-Hot encoding

 

- 총 6가지 data type 중 두 가지 종류의 categorical data type -

 

→ 그리고 우리는 qualitative categorical variable 중 unordered, 즉 순서가 정해지지 않은 data의 경우 원핫인코딩 기법이 제일 적절하다고 배웠다.

 

!-- 그렇다면 순서가 있는 qualitative categorical ordered variable은? --!

 

→ 앞서 one-hot encoding의 한계점으로 언급한, '순서가 있는 data'의 경우 ordinal encoding이라는 기법을 따로 쓰면 된다!

 

> ordinal-encoding 기법에 대해 자세히 알아보za <

w/scikit-learn

👨‍🏫 ordinal encoding에서는 data에 내재된 순서대로 점점 크기가 커지는 정수들이 할당된다. category_enocders library를 이용해서 예시를 통해 이해해보자

category_encoders library

** OrdinalEncoder docu **

https://contrib.scikit-learn.org/category_encoders/

https://contrib.scikit-learn.org/category_encoders/ordinal.html

 

classcategory_encoders.ordinal.OrdinalEncoder(verbose=0, mapping=None, cols=None, drop_invariant=False, return_df=True, handle_unknown='value', handle_missing='value')

 

'Encodes categorical features as ordinal, in one ordered feature. Ordinal encoding uses a single column of integers to represent the classes. An optional mapping dict can be passed in; in this case, we use the knowledge that there is some true order to the classes themselves. Otherwise, the classes are assumed to have no true order and integers are selected at random.'

 

 

🧤 one-hot encoder와 마찬가지로 ordinal encoder도 첫 data에는 fit_transform 수행 후 이후 data는 연이어서 transform method 적용

 

1> import

 

from category_encoders import OrdinalEncoder

 

2> OrdinalEncoder 객체 생성

 

enc = OrdinalEncoder()

 

→ 잠깐. 여기서! OrdinalEncoder() 다양한 인자들 알아보기 ←

 

① cols = default로는 encoder에 집어넣은 모든 data를 인코딩해주는데, 특정 column들만 encoding하고 싶으면 원하는 column name을 list로 묶어서 cols에 할당해주면 된다.

'a list of columns to encode, if None, all string columns will be encoded.'

 

② return_df = encoding된 결과물의 반환형을 결정해준다. default는 true로 encoding된 결과물이 dataframe의 형태로 나온다. false로 설정하면 numpy array로 나온다.

'boolean for whether to return a pandas DataFrame from transform (otherwise it will be a numpy array).'

 

③ mapping = 내재된 순서가 아니라 명시적으로 여러 data 순서를 임의적으로 정한다. 원하는 column의 모든 data에 원하는 순서를 일일이 부여 가능! 

'a mapping of class to label to use for the encoding, optional. the dict contains the keys ‘col’ and ‘mapping’. the value of ‘col’ should be the feature name. the value of ‘mapping’ should be a dictionary of ‘original_label’ to ‘encoded_label’. example mapping:

[{‘col’: ‘col1’, ‘mapping’: {None: 0, ‘a’: 1, ‘b’: 2}}, {‘col’: ‘col2’, ‘mapping’: {None: 0, ‘x’: 1, ‘y’: 2}}]'

 

④ handle_unknown = 결측치가 있을 경우 어떻게 처리할 지 설정하는 인자이다. default는 'value'로 결측치가 있으면 -1을 리턴함

'options are ‘error’, ‘return_nan’ and ‘value’, defaults to ‘value’, which will impute the category -1.'

 

3> fitting

 

👂 여기서 fit_transform이 아닌 fit 함수만 사용할 경우 encoding할 예시를 가져와 '해당 column에 이런 data가 오면 이렇게 encoding을 하겠다'라고 만들어진 encoder 객체에게 알려주는 용도로만 쓰임.

(실제로 해당 data를 encoding한 결과까지 가져오고 싶으면 위에서 언급한 fit_transform을 사용하면 된다.)

 

X = [['Male', 1, 'Yes'], ['Female', 3, 'No'], ['Female', 2, 'None']]
enc.fit(X)

 

4> transforming

 

👏 실제 encoding하고 싶은 이중 list, dict, 또는 dataframe, series 등 data를 넣으면 encoded된 결과가 출력된다!

 

enc.transform([['Male',1,'No'],['Female', 10]]) #결측치는 -1로 encoded됨

 

- encoded됨! -

 

5> (추가) category_mapping attribute

> 이 속성을 사용하면 해당 encoder가 어떤 column의 어떤 data를 무엇으로 encode했는지의 상세 정보를 알 수 있음!

 

enc.category_mapping

 

- 상세 정보 -

 

- 매우 간단하게. 개념 설명 끝! 🖐 - 

Q&A

Q. 그러면 어떨 때 One-hot을 쓰고 어떨 때 Ordinal encoding 기법을 적용해야 할까?

 

A. 우리는 주어진 data간에 내재된 순서가 있는 지를 따져야 한다. 즉, data 간에 어떤 data 쌍은 좀 더 밀접한 연관이 있고, 어떤 쌍은 연관 정도가 좀 덜하다고 생각하면 ordinal encoding을 쓰는 것이 바람직하다. 예를 들어 영화평점, 침대 사이즈, 작품 퀄리티 점수와 같은 data는 분명히 높고 낮음 - 즉 내재된 순서가 존재하기 때문에 ordinal encoding. 반대로 단순한 도시의 나열 (도시간의 지리적 근접성 고려 안한다면)이나 색깔 종류의 나열과 같은 data는 one-hot encoding이 더 적합하다.

(정 이렇게 해서도 구분이 어렵다면 해당 data가 방향성을 갖는 지 단순하게 생각한다면 구별이 더 쉬울 것이다!)

 

Q. 실제 순서가 내재된 data인데 오히려 one-hot encoding한 결과로 모델 성능이 더 좋아졌거나, 그 반대인 여러 case들이 있을까?

 

A. 이후 해당 실험에 대한 posting 올릴 예정

---

* 썸네일 출처) https://www.shareicon.net/silhouettes-stand-up-standing-firm-order-row-people-700053

* 출처1) https://stackoverflow.com/questions/69052776/ordinal-encoding-or-one-hot-encoding

* 출처2) https://machinelearningmastery.com/one-hot-encoding-for-categorical-data/