Bayesian Theorem

😺 이미 베이지안 이론과 관련한 문제에 대해서 옛날 포스팅에 다룬 바 있었다!

Bayesian Theorem '(example - 2 exercises)

 

😺 이젠 베이지안 이론에 관해 자세히 concept에 대해 알아보려 함!

concepts>

🖐🏻 베이즈 정리는 한 마디로 '데이터라는 조건이 주어졌을 때의 조건부확률을 구하기'라고 말할 수 있다

(즉 결과(A)가 주어졌을 때 원인(B1, B2, B3, ...)을 구하는 확률)

 

🖐🏻 Bayes Theorem 두 가지 가정

 

① 표본공간의 분할

👳🏻 분할된 원인들 - 즉 결과를 위한 여러 원인들(B1, B2, B3 ~)이 있을텐데 이 원인들은 서로 상호배반(교집합 존재 x)이며 합집합은 전체 표본공간이다

 

② 전확률공식

👳🏻 결과(A)와 원인(Bx)을 안다면 결과의 확률을 아래과 같이 표현할 수 있다

$$P(A) = P(A\cap B1) + ... + P(A\cap Bk) = P(B1)P(A|B1) + ... + P(Bk)P(A|Bk)$$

 

- (위부터) 가정 ① - 가정 ② - k=3일 때 전확률공식 및 표본공간 S 표현 -

 

 

🖐🏻 두 가지 종류의 확률을 알면 베이즈 정리 적용이 가능!

 

① 분할된 원인 사건들(B1 ~ Bk) 각각의 확률 $$P(B1), P(B2), ... P(Bk)$$

② 각 원인 사건들(B1 ~ Bk)을 전제로 했을 때 결과사건(A)이 발생할 조건부 확률 $$P(A|B1), P(A|B2), ... P(A|Bk)$$

③ ①과 ②를 알면 결과사건이 일어났다는 조건 하에 발생한 원인들의 확률을 구할 수 있다

$$P(Bi|A) = \cfrac{P(A \cap Bi)}{P(A)} = \cfrac{P(Bi)P(A|Bi)}{P(B1)P(A|B1) + ... + P(Bk)P(A|Bk)}$$

 

🖐🏻 예시

Q. 어느 한 공장에서 제품을 생산하는 기계들은 단 세 대만 존재한다. 어떤 한 제품은 두 개 종류 이상의 기계들로부터 생산이 불가능(상호배반)하다고 한다. 해당 회사 제품은 반드시 이 세 개 제품으로만 생산이 가능하다. 세 기계 B1, B2, B3의 생산률은 각각 0.2, 0.3, 0.5이며 각 기계별 불량률은 B1, B2, B3 각각 0.13, 0.11, 0.1이다. 이 때 (1)불량이라고 했을 때 특정 기계가 원인일 확률 각 세 기계 각각 구해보자. 그리고 (2)어떤 종류의 기계가 불량이라고 말할 수 있는지 확률이 제일 높은 기계의 종류를 찾아보자.

 

A. 

* 문제를 베이즈 이론에 적용해 간단히 그림으로 나타내보면..>

 

P(B1), P(B2), P(B3) → P(A) (결과 A사건은 '불량')

 

* ① 각 원인 사건들

→ P(B1) = 0.2

→ P(B2) = 0.3

→ P(B3) = 0.5

 

* ② 각 기계별 불량률

→ P(A|B1) = 0.13

→ P(A|B2) = 0.11

→ P(A|B3) = 0.1

 

* ③ 불량이라고 했을 때 각 기계별 원인일 확률

→ 기계 B1) P(B1|A) = (0.2*0.13) / (0.2*0.13) + (0.3*0.11) + (0.5*0.1) = 26/109 ≒ 0.239

→ 기계 B2) P(B2|A) = 33/109 ≒ 0.303

→ 기계 B3) P(B3|A) = 50/109 ≒ 0.459

 

* ④ 불량이 일어났다면 불량원인이라 말할 가능성이 제일 높은 기계는 B3이다!

활용>

👩‍🦱 베이지안 이론은 이미 알고 있는 사전확률을 토대로 이후 사후확률을 계산하는 과정 - 즉 지속적으로 data가 업데이트되면서 사후확률을 알아낼 때 많이 사용된다.

 

👩‍🦱 위 예와 설명에서 원인(B) → 결과(A) 형태로 제시했는데, 실생활의 경우 B는 이미 확률값을 알고 있는 사전확률(prior probability)이고, 여기서 A라는 새로운 정보가 update되면서 우리는 알고 있는 B라는 상황에서의 A확률 P(A|B)을 얻어낸 data로 활용해, 최종적으로 새로운 정보 A를 얻어낸 상황에서의 이미 알고 있는 event B가 발생할 확률인 P(B|A)를 얻어내는 경우로 많이 쓰인다

 

그러면 다시! 예를 들어보면 👨‍🌾

Q. 여태까지 지구상의 모든 인구가 특정 질병 X에 대해 0.5%만 가지고 있다(사전확률; P(B) = 0.005)고 알려져 있었다. 그런데 이 질병을 탐지하는 새로운 event A가 생겨났다(update - 베이지안 확률 사용). 이 방법 A로 99%의 확률로 질병을 탐지할 수 있다고 한다(P(A|B) = 0.99). 그러나 동시에 1%의 확률로 질병이 없는데도 질병이 있다고 진단한다고 한다 (P(A|Bc) = 0.01). 이 때 한 특정 사람이 이 A 방법으로 질병이 있다고 진단 받았을 때(A), 실제로 질병을 가지고 있을(B) 확률(P(B|A))은?

(특정 질병 X에 대해 가지고 있거나, 가지고 있지 않은 두 가지 case만 존재한다고 가정한다)

 

A. P(B) = 0.005, P(A|B) = 0.99, P(A|Bc) = 0.01을 이용해서 P(B|A)를 구하자!

→ P(B|A) = (P(B)*P(A|B)) / {(P(B)*P(A|B)) + P(Bc)*P(A|Bc)} = (0.005*0.99) / {(0.005*0.99) + (0.995*0.01)} ≒ 0.332

∴ 즉! 약 33.2%의 확률로 질병이 있다고 진단받으면 실제로 질병을 가지고 있다고 말할 수 있다

 

👩‍🦱 특히 ML 머신러닝 분야에서, 주어진 dataset에서 가설을 지속적으로 업데이트 해가며 최적의 모델을 구상해 갈 때 사용된다. 새로운 가설, 즉 정보가 update되므로 모델의 성능을 결국은 높이기 위해 Bayesian Theorem 사용!

 

👏 Naive Bayesian Classifier 모델 + (Gaussian 까지) Bayseian 이론을 활용한 model 및 개념들은 추후에 posting할 예정! 

 

👏 또한 위에서 언급했듯이 머신러닝 모델 구축과정과 Bayesian 계산 과정이 일맥상통하므로 ML에 접근하여서도 추가적으로 공부할게 많은 부분임! 추후 포스팅들을 통해 더 깊이 이해하자!

---

* 출처1) ProDS(초+중급)1

* 출처2) https://www.youtube.com/watch?v=9wCnvr7Xw4E