[ML_Basic] 베이지안 확률론

강의 참고

https://kooc.kaist.ac.kr/machinelearning1_17/

인공지능 및 기계학습 개론Ⅰ 강좌소개 : edwith

 

이 내용은 아래 내용에 이어진 내용입니다. 따라서 이 내용을 먼저 읽기를 권장합니다.

 

https://thought-process-ing.tistory.com/70

[ML_Basic] 기본 확률론

 

베이지안 확률

베이지안은 데이터가 주어진 후의 $\theta$를 추정하는 것이므로 P($\theta$|D)를 구해야 한다고 주장했다.

$$p(\theta|D) =  \frac{P(D|\theta)P(\theta)}{P(D)}$$

$p(\theta|D)$는 Posterior(사후 확률)

$P(D|\theta)$는 Likelihood(가능도 함수)

$P(\theta)$는 Prior Knowledge(사전 확률)

$P(D)$는 Normalizing Constant(정규화 상수)

 

가능도 함수는 이전 글에서 P(D|$\theta$) =  $\theta^{a_H}$ $\times$ $(1 - \theta)^{a_T}$ 로 구했고 Prior Knowledge(사전 확률)을 어떤 확률 분포를 쓰냐가 문제인데 이항분포에는 Beta distribution(베타분포)를 이용해서 주로 푼다.

 

MAP(Maximum A Posteriori)

MAP 추정에서는 사후 확률이 가장 큰 점을 선택한다.

$$P(\theta|D)  \propto  P(D|\theta)P(\theta) \propto \theta^{a_H} (1-\theta)^{a_T} \theta^{ \alpha -1} (1- \theta)^{\beta -1}$$

식을 정리해서 $\theta$의 MAP(Maximum A Posterior) 은 $\widehat{\theta} = argmax_{\theta} P(\theta|D)$에서 온다.

$$\widehat{\theta} = \frac{a_H + \alpha -1}{a_H + \alpha + a_T + \beta -2} $$

 

 

그런데 문제가 있다.

$\alpha$ 와 $\beta$ 를 정하는 것은 매우 중요한데 어떻게 결정할까...? (굉장히 중요한 문제!)