ANOVA & (One-Way ANOVA + w/code)

🧐 우리는 한 sample 집단의 평균이 모집단의 평균이 같은 지를 검정했고 (one-sample t-test)

T-test 👉 《One-sample T-test (w/ python code)》

🧐 두 sample 집단평균끼리의 차이가 없는 지 있는 지도 검정했다 (two-samples 'independent' t-test)

T-test 👉《Two-samples 'independent' T-test (w/python code)》

 

★ 그럼 과연 세 개 이상의 집단은? ★

A. ANOVA 활용!

ANOVA(ANalysis Of VAriance)

→ 평균 비교에 관한 검정이다

→ 단순히 2개 이상의 모집단의 모평균의 차이가 있는가를 볼 수 있는 검정으로, 얼마나 차이가 있는 지 구체적으로 검정하고 싶을 때는 (1)일단 ANOVA로 차이가 있음을 보이고, (2)사후검정을 통해 추가적인 검정을 실시함!

→ 평균 비교하는 ANOVA의 원리?

A. '변동성' 이용

(그룹별 평균이 다르면 다른만큼 그룹별 평균의 변동성이 크다는 사실을 이용한 것임)

 

☆ 표본의 변동성 정보를 이용해서 2개 이상 집단에의 평균들에 관한 추론을 하는 것 ☆

 

<용어 알고 가gi>

 

👀 factor(요인) = 모집단(그룹)을 구분하는 기준

👀 treatment(처리) = 요인에 의해 구성되는 각 그룹별 모집단

 

🧙‍♀️ 여기서 1개의 요인에 의해 구분되는 모집단들인지, 2개의 요인에 의해 구분되는 지에 따라 One-Way ANOVA, Two-Way ANOVA로 나뉨!

(+) Multiple Comparison이 안되는 이유?

🧙‍♀ 세 개 이상의 집단 비교를 할 때, ANOVA가 아니라 각각 두 그룹씩 'two-samples ind t-test'를 시행해야 하는 거 아닌가라고 생각 가능

🧙‍♀ 하지만! multiple comparsion 방법을 사용해서는 안된다

 

👏 그 이유를 수학 식을 통해 알아보자

 

→ 3개의 그룹이 있다고 가정하자. 여기서 각 그룹별로 통계적 에러가 날 확률을 α라고 하면

① 한 그룹에서 에러가 나지 않을 확률 (1-α)

② 3개 모든 그룹에서 에러가 나지 않을 확률 (1-α)^3

③ 적어도 한 곳에서 에러가 나지 않을 확률 1-(1-α)^3

 

→ 총 m개의 그룹이 있다고 했을 때 1-(1-α)^m ≤ mα가 알려져 있다

 

👏 따라서 우리는 그룹 수가 증가할 수록 에러도 커진다는 점! 즉 비교하는 집단의 수가 많아질수록 통계적 에러가 날 확률도 커지므로

👏 ANOVA를 통해 여러 개의 그룹을 한꺼번에 비교해야 한다!

One-way ANOVA

One-way ANOVA 가정 및 시행 절차>

가정 ①> 모집단은 정규분포를 따른다

가정 ②> 등분산성 - treatment의 분산이 모두 동일하다 (=반응변수들이 treatment 내에서 가지는 변동성은 모두 일정)

가정 ③> 1개의 factor에 의해 k개의 treatment로 분류되어 있다

 

"The ANOVA test has important assumptions that must be satisfied in order for the associated p-value to be valid.

👆 The samples are independent.

👆 Each sample is from a normally distributed population.

👆 The population standard deviations of the groups are all equal. This property is known as homoscedasticity."

 

★ k개의 모평균이 모두 동일한 지, 아닌 지 검정 ★

(여기서 각 treatment별 자료 수인 반복수(n)은 꼭 동일할 필요는 없다)

 

ex)

→ 1개의 factor에 의해 구분되는 서로 다른 4개의 모집단(4개의 treatment)이 존재한다

→ 이 때 각 모집단별 표본을 추출!

→ 각 모집단별 평균은 모두 0으로 동일선상에 놓고 출발 

→ 각 표본의 평균은 모평균과 동일한 값 근처에 있다는 걸 전제로 진행

→ 이 때 한 모집단의 표본 평균이 유난히 다를 경우 해당 모집단으로 인해 전체 표본평균의 변동성이 커짐!

→ 즉 표본의 변동성을 집단별로 모두 구해 변동성이 크다면 모평균이 모두 같은 것은 아니다라고 결론 내림

제곱합> 변동성 구하기

(해당 식에서는 k개의 treatment, 각 treatment 내부에는 n개의 자료)

 

 

🧵 R-squared에서 배운 적이 있는 식!

 

① 총제곱합(SST; Sum of Squares Total): 전체가 하나의 그룹이라 생각하고 전체의 평균으로부터 각 data가 어느만큼 떨어져 있는 지 각 편차의 제곱을 더한 것 (treatment 구분 x) - 그룹과 무관하게 전체 자료의 변동성 측정

② 오차제곱합(SSE; Sum of Squares Error) <그룹 내 변동>: 각 그룹(treatment) 내에서의 변동 측정, 각 그룹 내의 data들이 해당 그룹의 평균으로부터 얼마나 떨어져 있는 지 해당 편차의 제곱합

③ 요인제곱합(SSTR; Sum of Square TReatment) <그룹 간 변동>: 각 그룹별 평균의 변동 측정 - 각 그룹에서 나온 그룹별 평균이 전체 data의 평균으로부터 얼마나 떨어져 있는 지 그룹별 편차의 제곱합 (SSTR의 크기로 집단별 모평균의 차이 파악 가능)

 

🧖‍♂️ 즉! SSTR이 크다면 모평균은 같지 않음 / 작다면 모평균은 같음

(모평균이 모두 같다는 가정 하에 SSTR크기를 찾음 - 표본을 관찰하기에 정확히 0은 안나옴)

 

😺 우리는 SSE와 SSTR간의 비 - 즉, 그룹 내 변동에 '비해' 그룹 간 변동의 상대적 크기가 크고 작은 지(=원래 자료가 가지는 변동(그룹 내 변동)에 비해서 그룹 간 변동이 상대적으로 충분히 큰 지) - 상대적 크기 비교를 이용해서 검정한다 (그룹별 모평균 모두 동일하게 놓고 가정)

검정 절차>

1> 가설

→ 귀무가설 H0) '집단 간 평균 차이가 없다'

→ 대립가설 Ha) '집단 간 평균 차이가 존재한다' = 즉, 해당 factor의 처리효과가 존재한다

 

🙋‍♀️ 주로 우리는 한 모집단에서 해당 factor에 의해 두 개 이상의 집단으로 나눌 수 있는지, factor의 영향 효과 유무를 알아보기 위해 ANOVA 시행함

 

2> 검정통계량 계산

① SSE와 SSTR의 평균제곱을 구한다(각각의 자유도로 나눔)

→ MSE = SSE/(nk-k)

→ MSTR = SSTR/(k-1) (그룹간 변동이므로 k개의 treatment만 자유도 계산에 고려하면 됨)

 

② 그룹별 모평균이 모두 같다면? MSE ≒ MSTR

③ 그룹별 모평균이 모두 같지 않다면? MSTR ≫ MSE

→ MSE는 그룹별 모평균이 같고 다름과 관계 없이 항상 unbiased하지만 (treatment 내에서 가지는 변동성은 모두 일정하다고 가정함)

→ MSTR의 경우 집단 간 평균차이가 없을 경우에만 (즉 귀무가설이 참일 경우) unbiased하다. 집단 간 평균 차이가 심할수록, 당연히 그룹간 변동은 커지므로 MSE보다 월등히 커지게 된다

 

④ 이 때 우리는 MSTR/MSE ratio값을 F[k-1, nk-k] ([]안은 각각의 자유도를 뜻함)로 놓고 위 (2)의 경우 F는 1을, (3)의 경우 F는 계속 커지게 된다. 

 

⑤ 이 때의 F값 (ratio)은 F분포를 따르게 된다 (** F분포는 추후 포스팅!)

 

3> F분포로부터의 유의확률 계산

👋 유의확률 = '귀무가설 H0가 사실일 때, 검정통계량 X(MSTR/MSE ~ F[k-1, nk-k])에서, x0(표본자료로부터 계산된 검정통계량 값)보다 더 '큰' 값이 나올 확률'

 

※ <주의> 여기서 주의할 건, x0의 대립가설 Ha 방향은 '항상 오른쪽' (오른꼬리 방향) ※

(MSE는 크기가 일정한데, MSTR의 경우 변동성이 생김에 따라 더 커질 수 밖에 없기에 - 작아지지 못함)

 

4> 검정

👋 위 3>에서 계산된 유의확률(p-value)이 주어진 유의수준 α보다 작으면 귀무가설 기각 (작다는 건 유의수준에 해당하는 F statistics가 α보다 크다는 뜻)

ANOVA Table>

👋 제곱합 종류 / 자유도 / 평균제곱합 종류 / 최종 F값

 

예시>

Q. 3가지 타입의 자동차 헤드라이트 디자인을 고려하고 있다. 라이트의 효과를 비교하기 위하여, 각 디자인을 적용한 차량별로 시속 60KM의 속도에서 장애물을 인지하는 거리(m)를 5번씩 반복하여 측정하였다. 이 자료를 토대로 라이트 종류에 따라 인지거리에 차이가 있는 지를 유의수준 1%로 검정하고자 한다.

 

♬ 요인(factor) = 자동차 헤드라이트 디자인

♬ 처리되는 treatment = A, B, C 총 세 개의 type

♬ 반응변수(어떤 대상을 관찰하는 지) = 장애물을 인지하는 거리 (인지거리)

 

 

A.

1> 가설

→ 귀무가설 H0: 헤드라이트 종류별 평균정지거리는 차이가 없음

→ 대립가설 Ha: 헤드라이트 종류별 평균정지거리는 차이가 있음

 

2> 검정통계량 & 통계량의 분포

→ 귀무가설이 사실일 때, X = MSTR/MSE ~ F[2,12]

→ 검정통계량 x0값 = 28.23

 

3> 유의확률 & 유의수준 검정 및 결과

→ 해당 p-value는 P[X>28.23] = 2.9e-05로 유의수준 0.01보다 작음

→ 귀무가설이 기각됨

 

4> 결론

→ 귀무가설이 기각되었으므로 헤드라이트 종류별 평균정지거리는 차이가 있다!

→ 즉, 헤드라이트 종류가 정지거리라는 것을 설명할 수 있는 한 factor가 될 수 있다고 결론을 내릴 수 있다.

 

(+) 예시 ANOVA table

 

 

---

w/code

♠ scipy.stats.f_oneway ♠

https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.f_oneway.html

 

scipy.stats.f_oneway(*args, axis=0)

 

"Perform one-way ANOVA. The one-way ANOVA tests the null hypothesis that two or more groups have the same population mean. The test is applied to samples from two or more groups, possibly with differing sizes.'

 

예시>

Q. 서울시 가로수 현황 통계에서 느티나무, 은행나무, 양버즘나무 data를 수집해보자. 서울시 구별 느티나무, 은행나무, 그리고 양버즘나무 data의 각 그루 수 평균이 서로 같은 지 '그루 수'라는 한 factore가 적용된 One-Way ANOVA를 이용하여 유의성 1% 범위 내에서 검정해보자

(two independent samples t-test에서 사용한 data 그대로)

 

1> data 준비

 

df_anova = df.loc[:,['은행나무','양버즘나무','느티나무']]

#dataframe 내 모두 , 제거 & int형 변환 (for ~ in df.iterrows() 구문 사용)
for i,s in df_anova.iterrows():
    df_anova.iloc[i] = pd.to_numeric(s.str.replace(',',''))

 

2> EDA

→ violin plot으로 '나무 개수'라는 factor로 나눈 3개의 treatment 시각화>

 

from matplotlib import font_manager, rc

matplotlib.rcParams['axes.unicode_minus'] = False 

font_name = font_manager.FontProperties(fname="c:/Windows/Fonts/malgun.ttf").get_name()
rc('font', family=font_name)

#violinplot
sns.violinplot(data=df_anova,palette="muted");

 

 

3> F 검정통계량 값과 p-value 출력하기

 

fvalue, pvalue = stats.f_oneway(df_anova['은행나무'], df_anova['양버즘나무'], df_anova['느티나무'])
print(fvalue, pvalue)
#17.006289557888046 8.935183167883698e-07

 

4> 검정 결과

→ pvalue가 0.01보다 작으므로 귀무가설이 기각됨

→ 따라서 은행나무, 양버즘나무, 느티나무 data는 '그루 수'라는 factor에 의해 구분할 수 있으며, 이 factor에 의해 구분된 총 3개의 treatment의 평균들은 서로 같지 않음을 '통계적 유의성' 범위 내에서 보일 수 있다!

 

- 끝! -

 

---

* 썸넬 출처) https://ourcodingclub.github.io/tutorials

* 내용 전체 출처) ProDS(초급+중급)1 

* ANOVA 설명 자료) https://www.mathstat.dal.ca/~stat2080/Fall14/Lecturenotes/anova1.pdf