Types of Errors in Hypothesis Testing

👄 이번 포스팅에서는 우리가 무조건 마주하게 되는 두 가지 ERROR! 타입에 대해서 알아보려 한다! 🤝

👄 전체 모집단 population에 대한 충분한 정보가 제공되지 않았기 때문에! 우리는 sample을 이용하여 전체 population에 대한 추론을 하는 과정을 거친다. 이런 추론 과정을 일종의 hypothesis testing이라 하며, 이 testing 과정에서 우리는 당연히 sample만을 가지고 추론하기에 여러 error에 마주치게 됨

 

Hypothesis Test: H0 & Ha - concepts

 

개념>

🤙 제일 중요한 건 H0! H0를 reject함으로써 해당 가설의 신빙성 effect가 있다고 결론을 내리게 되는 과정이 필요한데, 이 hypothesis test에서 크게 두 가지의 error를 마주하게 됨!

 

 

🤙 Type1 error (FP; False Positive)

▶ hypothesis testing 결과 우리가 세운 H0가 바라던 대로 reject이 되었다. 즉 Ha를 선택할 차례. 하지만 실제 상황을 보니 H0 내용이 reject되어서는 안되고, H0가 성립되어야 맞다고 나온다. 이렇게 발생하는 에러를 우리는 Type 1 error라 부르고 H0을 reject하지 말아야 한다!

▶ FP라고도 부른다. Positive하게 Ha를 선택한 상황이 False로 나왔음 🥺

 

🤙 Type2 error (FN; False Negative)

▶ hypothesis testing 결과H0을 reject해서는 안되고 H0을 받아들여야 하는 상황이 나왔다. 하지만 실제 상황에서는 H0은 거짓으로 판명. 우리는 이럴 때 Type 2 error가 발생했다 부르고 H0에 반하는 사실을 채택해야 한다!

▶ FN이라고도 부른다. Negative하게 H0을 선택한 상황이 False로 판명났기 때문! 🥺

 

예시>

Q1) 불이 없는데 화재 경보음이 울렸다면? FP 

Q2) 불이 있는데 화제 경보음이 울리지 않았다면? FN

Type 1 error>

👋 통계적 관점에서 마주하는 Type 1 error 상황을 살펴보자!

 

☝️ 계산 결과 나온 p-value가 significance level 유의성 범위보다 적게 산출되었다. → 적게 산출되었으므로 우리가 검정하는 의도대로 H0이 reject됨 → H0을 reject하는 상황이 생겨 hypothesis testing이 의미가 있다(statistically significant)고 생각할 수 있다.

하지만 이 때, sample error로 인해 FP 되는 상황이 생길 수 있음. sample을 통해서 검정하려고 하는 supposed effect가 실제 population에서는 존재하지 않을 수 있기 때문! 

 

- p-value & significance level에 따른 결과 해석 차이 -

 

'If the p value of your test is lower than the significance level, it means your results are statistically significant and consistent with the alternative hypothesis. If your p value is higher than the significance level, then your results are considered statistically non-significant.'

 

✌️ 이 Type 1 error의 빈도 the rate of occurence를 알 수 있을까? error 빈도는 유의수준 α와 같다. 

 

'The significance level is an evidentiary standard that you set to determine whether your sample data are strong enough to reject the null hypothesis. Hypothesis tests define that standard using the probability of rejecting a null hypothesis that is actually true. You set this value based on your willingness to risk a false positive.'

 

ex) 예를 들면 유의수준 α가 0.05이라면, FP가 발생할 확률은 5%이며, 이는 곧 H0이 reject되어서는 안되고 H0이 실제 true로 판명날 확률

→ 유의수준 α 자체가 H0을 reject하는 지에 대한 기준을 세운 것이기에, FP라고 내릴 수 있는 기준이라 할 수 있고, 이는 곧 FP의 빈도가 되는 것!

 

ex - 실제 clinical study

'In your clinical study, you compare the symptoms of patients who received the new drug intervention or a control treatment. Using a t test, you obtain a p value of .035. This p value is lower than your alpha of .05, so you ①consider your results statistically significant and reject the null hypothesis. However, the p value means that ②there is a 3.5% chance of your results occurring if the null hypothesis is true. Therefore, there is still a risk of making a Type I error.'

Type 2 error>

👋 Type1과 마찬가지로 통계적 관점에서 Type2 상황을 확인해보자

 

☝️ 이젠 계산 결과 나온 p-value가 significance level 유의성 범위보다 더 높게 산출되었다. → 더 높게 산출이 되었다는 건, hypothesis testing에서 H0은 reject되지 않음. → H0 귀무가설을 받아들이는 것이므로, 해당 testing의 효과 effect가 없다는 것이기에 →  해당 sample이 원하는 effect를 판단하기 위해 충분하지 않다(not having enough statistical power)고 결론이 나온 것이다.

하지만 type 2 error로 인해 보이고자 하는 결론이 유효할 가능성(H0이 reject되는, 효과가 있다는)이 있다.

이 가능성을 β(error rate)라고 한다.

(** 여기서 statistical power는 실제 H0이 false인 가운데, 실제로 H0을 reject할 확률이다)

 

✋ 잠깐! 위에서의 statistical power는 test에서 우리가 알고자 하는 실제 영향이 있는 지를 판단하는 정도(testing이 의미가 있는 지)를 뜻함. (즉 H0이 rejected되어 실제 효과가 있다고 보는 test의 검정효과) - 주로 80% power level 이상일 때 실제 효과 있다 판단

 

ex - 실제 clinical study(2) -

'When preparing your clinical study, you complete a power analysis and determine that with your sample size, you have an 80% chance of detecting an effect size of 20% or greater. An effect size of 20% means that the drug intervention reduces symptoms by 20% more than the control treatment. However, a Type II may occur if an effect that’s smaller than this size. A smaller effect size is unlikely to be detected in your study due to inadequate statistical power.'

 

✌️ Type1과 다르게 여러 요인들로 인해 Type2가 발생한다. 또한 occurrence인 β를 알기도 매우 어렵다. 직접 Ha에 관한 study를 진행하고 Ha distribution을 통해 어림잡아 estimate을 알 수 있을 정도.

 

Q. 그렇다면 Statistical Power 결정 요인은?

A1) size of the effect (effect size 커지면 power 커짐)

A2) measurement error (systematic & random errors) - error 발생할수록 power 감소

A3) sample size (당연히 sample size가 커지면 power는 커짐)

A4) significance level (level도 커지면 power도 커짐)

 

→ low variability & larger effect size라는 요인으로 Type2 발생 비율을 줄일 수 있다. 그러나 실제 검정에서는 variability & effect size를 컨트롤하기에는 어려우므로 sample size를 증가시키거나 significance level을 올려서 Type2 발생 비율을 줄이려고 한다!

Errors in distributions

* H0 distribution>

→ H0이 true라고 가정했을 때, 새로운 sample들을 계속 반복하면서 나올 수 있는 모든 상황들이 발생할 수 있는 확률들의 모음집

→ α라고 쓰여진 부분은 critical region이라 부르며 해당 region에 결과가 포함되면, 당연히 H0은 rejected되는, statistically significant한 부분이라고 말할 수 있다. 근데 distribution 자체가 H0이 true한 상황이기에, FP로 판단되는 region이다!

 

-- 최종 정리 --

 

<Type 1 error>

 

→ hypothesis testing 시행

→ p-value가 significance level보다 작게 측정됨

→ H0이 reject됨

→ 의도대로 testing 검정 효과를 봄

→ 우리는 statistically significant하다고 결론을 내렸음

→ 근데 sample error로 type 1 error 발생

→ 실제로는 H0이 true라고 함

→ 아, 결국 우리는 STATISTICALLY SIGNIFICANT(POSITIVE)라고 결론을 내린 걸 잘못(FALSE) 판단했음을 시인;; 😔

→ F(alse)P(ositive)

 

💪 FALSE하게 POSITIVE(STATICALLY SIGNIFICANT)로 판단

 

* Ha distribution>

→ 역시 H0와 같은 원리로 Ha가 true라고 가정했을 때의 새로운 sample들을 반복한 결과 나올 수 있는 상황 확률들 모음집

 

-- 최종 정리 --

 

<Type 2 error>

 

→ hypothesis testing 시행

→ p-value가 significance level보다 크게 측정됨

→ H0이 reject되지 않음

→ 우리가 생각하던대로 testing 효과는 없다 판단함

→ statistical power가 없는 test구나.. ㅠㅠ

→ 근데 여러 요인들로 인해 type 2 error 발생

→ 실제로는 H0이 reject되어야 한다고 함

→ 아, 우리는 statistical power가 없다고(NEGATIVE) 결론을 내렸는데

→ 실제는 아니구나(FALSE)임을 시인;;

→ F(alse)N(egative)

 

💪 FALSE하게 NEGATIVE(NOT HAVING STATISTICAL POWER)로 판단

 

 

type1과 type2 간의 TRADE-OFFS

👏 두 type error는 서로 영향을 받는 trade-off 관계이다

 

① significance level(위 alpha의 면적)을 줄이면? → testing에서 p-value가 significance level보다 적게 측정될 확률이 감소한다 → H0이 reject될 확률이 감소한다 → 실제로 H0이 true인 상황에서 H0이 true가 아니라고 판단할 확률(type 1 error)이 감소한다 → type1 error 부담이 줄어든다 / 반대로 type 2 error 부담이 증가한다

② test의 statistical power를 증가시키면? → testing 효과가 증가한다 → 즉, 똑같은 말로 H0을 reject할 확률이 증가한다 → 실제 Ha가 true인 상태(H0이 true가 아닌 상태)에서 H0을 고를 확률(type 2 error)이 감소한다 → type2 error 부담이 줄어든다 / type1 error 부담이 증가한다

 

≫ 즉 한 쪽 error 부담을 줄이면 다른 error 확률이 증가되는 서로 trade-off 관계임을 위 그림을 통해서도 알 수 있음!

 

- 어려운 통계 개념 정리 끝! 휴 😇-

---

* 썸넬 출처) https://liwaiwai.com/2019/10/12/statistics-for-dummies-type-i-and-type-ii-errors/

* 내용 & 그림 출처1) https://www.publichealthnotes.com/hypothesis-testing-and-difference-between-type-i-and-type-ii-error/type-1-and-2-errors/

* 출처2) https://statisticsbyjim.com/hypothesis-testing/types-errors-hypothesis-testing/

* 출처3) https://www.scribbr.com/statistics/type-i-and-type-ii-errors/