Probability fundamentals

 

🧜‍♀️ 확률은 반드시 알아야 하는 기초 개념! 기초 개념을 확실히 알자!

* 용어 정리

🧜‍♀️ 확률

'the measure of the likelihood that an event will occur'

---

🧜‍♀️ 시행(experiment, trial)

→ 확률에서의 '시행'은 일반적으로 무작위 시행을 의미하여, 이는 동일한 조건에서 반복 수행 가능, 그 결과를 사전에 알 수 없는 행동

(ex) 동전과 주사위를 던지는 것)

→ 시행은 표본공간이라는 집합(set)으로 표현

---

🧜‍♀️ 표본공간(Sample space)

→ 어떠한 시행에서 일어날 수 있는 모든 발생 가능한 결과의 집합

ex) 주사위를 한 번 던지는 시행의 표본 공간 = {1, 2, 3, 4, 5, 6}

→ 각 원소(element)는 시행의 특정한 결과를 의미하며, 이를 표본점(sample point)라고 한다.

---

🧜‍♀️ 사건(event)

→ 시행의 결과로 나올 수 있는 특정한 값 또는 값들의 집합

ex) 한 개의 주사위를 던지는 시행에 대해서 1의 눈이 나오는 사건, 2의 눈이 나오는 사건, ... 6의 눈이 나오는 사건 등등 존재 / 사건은 집합으로 표현 가능({1}, {2}, ... {6} 등등) 

→ 사건 모두 해당 시행에 대한 표본공간의 부분집합

 

E ⊆ S

(E: 사건, S: 표본 공간)

→ 사건 E가 발생했다는 의미 = '어떠한 시행의 결괏값이 사건 E 집합에 속한다. 즉, 원소이다'

ex) E = {2,4,6} 주사위를 던져서 2의 눈이 나온다면, 2는 집합 E의 원소이기 때문에 '사건 E가 발생했다'라고 표현

---

🧜‍♀️ 사건의 합집합 & 교집합

→ 집합 A와 B가 사건인 경우, 해당 사건들의 합집합인 A∪B와 교집합인 A∩B도 사건

(즉, 합집합과 교집합 모두 표본 공간의 부분집합)

→ ex) 주사위를 한 번 던지는 시행에 대한 사건 A, B

- 사건 A: 짝수의 눈이 나오는 사건 (A = {2,4,6})

- 사건 B: 5이상의 눈이 나오는 사건 (B = {5,6})

- 합집합은 {2,4,5,6}이 되고, 교집합은 {6} (두 개 모두 표본공간의 부분집합)

---

🧜‍♀️사건의 확률(probability of an event)

→ 해당 사건이 일어날 수 있는 가능성을 수치적으로 표현한 것

→ 사건 A가 발생할 확률은 P(A)라고 표현

→ 정의) (특정 사건이 발생할) 확률 = 해당 사건이 발생할 경우의 수 / 특정 시행에 대한 모든 가능한 결과에 대한 경우의 수

= '사건 A 집합의 원소의 수 / 표본 집합 S의 원소의 수'

$$P(A) = \frac{|A|}{|S|}$$

→ ex) 하나의 주사위를 던져서 짝수가 나올 확률

- 시행 = 하나의 주사위를 던지는 것 {1,2,3,4,5,6}

- 사건 = 짝수가 나오는 사건 {2,4,6}

- 즉 위 '사건의 확률' 정의에 의해 3/6 = 1/2이 된다.

---

🧜‍♀️확률의 기본 Axioms

① Axiom1: 어떠한 사건 A에 대해서 P(A) ≥ 0

② Axiom2: 표본공간 S의 확률(P(S)) = 1

③ Axiom3: $A_1, A_2, ... $가 서로 상호배타적 사건(disjoint events)인 경우, $P(A_1 \cup A_2 \cup A_3 \cup ...) = P(A_1) + P(A_2) + P(A_3) + ...$

→ 즉, 두 사건이 서로 상호배타적이다라는 뜻은 두 사건의 교집합이 없다는 것을 뜻한다.

→ $A \cap B = \varnothing$

→ 두 사건이 상호배타적이 아니라면, $P(A \cup B) = P(A) + P(B) - P(A \cap B)$

 

cf)

$$P(A \cup B) = P(A\;or\;B)$$

$$P(A \cap B) = P(A\;and\;B) = P(A,B)$$

---

🧜‍♀️조건부 확률(Conditional probability)

= 두 개의 사건 A,B가 있는 경우에 대해서, 사건 B가 발생했다는 조건 하에서 사건 A가 발생할 확률

→ $P(A|B) = \frac{P(A\cap B)}{P(B)}, where\;P(B) > 0$

ex) 한 개의 주사위를 던지는 시행에 대해서, 홀수의 눈이 나오는 사건을 A, 3 이하의 눈이 나오는 사건을 B

(S = {1,2,3,4,5,6} / A = {1,3,5} / B = {1,2,3})

- 따라서 3이하의 눈이 발생했다는 조건 하에서 홀수의 눈이 나오는 사건이 발생할 확률을 위 조건부 확률 공식에 의해 풀자면,

$P(A|B) = \frac{P(A\cap B)}{P(B)} = \frac{\frac{|A\cap B|}{S}}{\frac{|B|}{|S|}}$

$= \frac{|A\cap B|}{|B|} = \frac{2}{3}$

 

※ 연쇄법칙

$$P(𝐴_1∩𝐴_2∩…∩𝐴_𝑛 )=𝑃(𝐴_1 )𝑃(𝐴_2│𝐴_1 )𝑃(𝐴_3│𝐴_2,𝐴_1 )…𝑃(𝐴_𝑛 |𝐴_(𝑛−1),𝐴_(𝑛−2),…,𝐴_1 )$$

 

ex) 공장에서 어떤 제품 100개를 생산했는데, 그 중에 결함이 있는 제품이 5개라고 가정합니다. 100개의 제품 중에서 3개를 선택했을 때, 셋 모두 결함이 없는 제품일 확률?

→ 첫번째 제품이 결함이 없는 제품인 사건을 $A_1$, 두번째 제품이 결함이 없는 제품인 사건을 $A_2$, 세번째 제품이 결함이 없는 제품인 사건을 $A_3$라고 하는 경우 구하고자 하는 값은 $P(𝐴_1∩𝐴_2∩𝐴_3 )$

→ 연쇄법칙을 사용하면 아래와 같이 표현 가능

$P(𝐴_1∩𝐴_2∩𝐴_3 )=𝑃(𝐴_1 )𝑃(𝐴_2│𝐴_1 )𝑃(𝐴_3│𝐴_2,𝐴_1 )$

---

🧜‍♀️조건부 확률(Conditional probability) Axioms

→ 위에서 다룬 확률의 기본 3 axioms 적용

① Axiom1: 사건 A에 대해서 P(A|B) ≥0

② Axiom2: 사건 B 조건하에서의 B의 확률, 즉, P(B|B) = 1

③ Axiom3: $𝐴_1, 𝐴_2, 𝐴_3$, …가 서로 상호배타적 사건(disjoint events)인 경우, $P(𝐴_1∪𝐴_2∪𝐴_3∪…|B)=P(𝐴_1 |𝐵)+𝑃(𝐴_2 |𝐵)+P(𝐴_3 |𝐵)+…$

 

Q1. 사건 A와 B가 서로 상호배타적일 때, P(A|B)는 0

Q2. B ⊂ A인 경우, P(A|B)는 1

Q3. 두 개의 주사위를 동시에 던지는 경우에, 첫 번째 주사위의 눈을 N1이라고 하고, 두 번째 주사위의 눈을 N2라고 하자. N1+N2 = 5라고 하는 경우, N1=2 또는 N2=2일 확률

→ 위 조건부 확률의 정의에 의해 (2/36)/(4/36) = 1/2

---

🧜‍♀️독립 사건(independent events)

→ 두 사건이 서로 독립 = 한 사건이 발생할 확률이 다른 사건의 발생 여부에 영향을 받지 않음

ex) 두 개의 동전을 동시에 던지는 시행에 대해서 첫 번째 동전의 앞면이 나오는 사건을 A, 두 번째 동전의 앞면이 나오는 사건을 B라고 하면 사건 A와 사건 B는 독립

→ 즉, 사건 A와 사건 B는 서로 영향을 주지 않으므로 P(B|A) = P(B) & P(A∩B) = P(A) * P(B)

ex) 주사위를 두 번 던질 때, 1이 먼저 나오고 2가 그 다음 나오는 확률은?

: 1이 나오는 사건을 A라 하고, 2가 나오는 사건을 B라고 하면 두 사건은 서로 영향을 주지 않으므로 독립이다. 따라서 P(A∩B) = 1/6*1/6 = 1/36

---

🧜‍♀️상호배타적 vs. 상호독립적

→ 상호배타적) P(A and B)=$𝑃(𝐴, 𝐵)=𝑃(𝐴∩𝐵)=0$

→ 상호독립적) P(A and B)=$𝑃(𝐴, 𝐵)=𝑃(𝐴∩𝐵)=𝑃(𝐴)𝑃(𝐵)$

 

Q. P(A) ≠ 0, P(B) ≠ 0인 경우, 두 사건이 상호배타적일 때, 두 사건은 서로 독립이 될 수 있는가?

A. 상호배타적이므로 P(A∩B) = 0. 두 사건이 독립이므로 P(A∩B) = P(A) * P(B) ≠ 0. 따라서 서로 독립이 될 수 없다.

---

🧜‍♀️전체 확률의 법칙(Law of total probability)

→ 만약 $B_1, B_2, B_3, ... $가 표본공간 S의 일부분을 차지한다면, 그 어떤 사건 A에 대해

$$P(A)=\sum_{j=1}^{n} P(A\cap B_j)= \sum_{j=1}^{n} P(A|B_j)P(B_j)$$

 

ex) 위 그림의 경우 $𝑃(𝐴)= 𝑃(𝐴∩𝐵_1 )+𝑃(𝐴∩𝐵_2 )+𝑃(𝐴∩𝐵_3 )$

---

🧜‍♀️베이즈 공식 (Bayes' Rule; Bayes' theorem)

→ 결과 A가 주어졌을 때 각 원인들($B_1, B_2, ...$)이 발생할 확률을 구하는 것

① 결과 A를 위한 여러 원인들 $B_1, B_2, ...$은 서로 상호배반 / 합집합은 전체 표본공간

② 결과 A와 원인(Bx)을 안다면 결과의 확률(P(A))을 위 전체 확률 법칙에 의해 표현할 수 있다.

 

《1》 분할된 원인 사건들 $B_1, B_2, ... $ 각각의 확률

《2》 각 원인 사건들 $B_1, B_2, ... $을 전제로 했을 때 결과사건(A)가 발생할 조건부 확률

→ 위 두 가지를 알고 있다는 조건 하에 아래와 같은 식으로 구하고 싶은 '결과 발생 조건 하 원인 확률'을 알 수 있다.

 

→ 자세한 건 아래 포스팅 참조

Bayesian Theorem

---

* 출처) 대학원 사전교육 <데이터분석을 위한 기본수학>