Odds Ratio & log(Odds Ratio)

🌟 일명 '오즈(Odds)'라고 해서 로지스틱 회귀 모델을 구하는 식에 사용된다고 예전 로지스틱 포스팅에서 배운 적이 있다.

 

🌟 '오즈비'와 로그를 씌운 '로그오즈비' 두 가지 개념에 대해서 자세히 알아보자 🦔

1> odds

ex) 'the odds in favor of my team winning the game are 1 to 4 ... ' → $\cfrac{1}{4}$

= 0.25 - 즉 내 팀이 게임에 이길 odds는 0.25이다

 

🌟 여기서 중요한 건 odds of p는 probability of p 확률이 아니라는 점 💫

 

≫ odds는 $\cfrac{p}{1-p}$라면, probability는 $\cfrac{p}{1}$이다. 

 

≫ (1-p)인 확률에 대한 p인 확률을 odds로 나타낼 수 있다. $\cfrac{P(p)}{P(1-p)}$ = $\cfrac{p}{1-p}$

2> log(odds)

🌟 odds의 범위를 살펴보면, 우리가 관심있어 하는 성공확률 p에 비해 반대 실패확률 (1-p)가 매우 클수록 odds는 0에 가까워짐을 확인할 수 있고, 그 반대로 성공확률 p가 실패확률 (1-p)에 비해 매우 클수록 1에서 +$\infty$까지 범위가 무한함을 확인할 수 있다.

 

🌟 0을 기준으로 p>(1-p)이면 log(odds)는 양수값, (1-p)>p이면 log(odds)는 음수값이다.

 

🌟여기서 $log(\cfrac{p}{1-p})$를 logit function이라고 한다. (로지스틱 회귀의 basis)

 

🌟 log값을 취한 수치는 0을 기준으로 대칭인, 분포를 이룬다.

3> odds ratio

→ 아래 예를 이용해서 odds ratio를 쓰는 실생활 예시를 살펴보자

 

	Has Cancer	Doesn't have Cancer
Has the mutated gene	23	117
Doesn't have the mutated gene	6	210

① mutated gene을 갖고 있다면, cancer를 가질 odds는 $\cfrac{23}{117}$

② mutated gene을 갖고 있지 않다면, cancer를 가질 odds는 $\cfrac{6}{210}$

 

→ odds ratio를 따지면 $\cfrac{23/117}{6/210}$ = 6.88

→ 즉 mutated gene을 갖고 있는 사람이 cancer를 가질 odds는 6.88배 더 높다는 것을 알 수 있다.

→ log(odds)값은 1.93

 

🌟 위 예에서 볼 수 있듯이 odds ratio는 cancer 유무에 mutated gene 여부 요소가 영향을 끼치는 지, 좋은 predictor인지 판별할 수 있는 수치이다. (R-squared 처럼). odds ratio값이 높을수록(또는 log(odds ratio)값) cancer 유무에 관한 good predictor라 할 수 있다.

 

🌟 여기서 우리는 계산으로 알게 된 odds ratio가 당연히 statistically significant한지 test를 거쳐야 한다

(fisher's exact test, chi-square test(p-value), the wald test(confidence interval) 세 test를 주로 사용한다. 무엇이 best 인지는 없음)

① chi-square test

→ 먼저 cancer 여부에 mutated gene 요소가 영향을 끼치지 않는다고 가정한다.

→ 각 칸의 expected value 구하기

- mutated gene 여부와 상관없이 전체 cancer를 갖고 있는 확률은 $\cfrac{29}{356}$ = 0.08

- 즉, mutated gene 여부와 상관없이 구한 cancer 여부 확률로 기댓값을 구한 것이다.

 

expected values	Has Cancer	Doesn't have Cancer
Has the mutated gene	11.2 (=140*0.08)	128.8
Doesn't have the mutated gene	17.3(=216*0.08)	198.7

→ expected values와 실제 observed values 비교하기 - p-value 구하기

② the wald test

※ log(odds ratios)값이 정규분포를 보인다는 가정과 함께 출발한다.

→ 1000개의 sample이 넘는 log(odds ratio)값들이 모인 정규분포

→ 샘플 size는 300에서 400개 사이

→ 각 샘플마다 0에서 1사이의 랜덤값을 정하고, 0.08 이하의 값은 cancer가 있다고 간주

→ 다시 0에서 1사이의 랜덤값을 정하고, 0.39 이하의 값은 mutated gene이 있다고 간주

→ 랜덤하게 뽑고 간주한 결과를 분류해 개수를 세면 아래와 같다.

 

using random values	has cancer - yes	has cancer - no
has the mutated gene - yes	14	141
has the mutated gene - no	15	222

→ 이를 기반으로 약 10,000번 시행해 histogram을 그리면 정규분포 형태가 나온다. standard deviation 값은 약 0.43이 나옴

→ observed values에서 standard deviation 값을 구하면 0.47

→ 서로 값이 매우 비슷하다

 

→ log(odds ratio)에서 standard deviation값을 나누면 4.11 (즉 구한 log(odds ratio)값은 분포의 평균으로부터 약 4.11 표준편차 배수만큼 떨어졌다는 뜻이다.

(일반적으로 2배수보다 큰 배수만큼 떨어졌다는 건 p-value값이 0.05미만으로 log(odds ratio)값이 statistically significant하다고 결론을 내릴 수 있다.)

---

* 출처1) STATQUEST - odds & log(odds) https://www.youtube.com/watch?v=ARfXDSkQf1Y 

* 출처2) STATQUEST - odds ratio & log(odds ratio) https://youtu.be/8nm0G-1uJzA