Likelihood, ML, MAP 개념 정리

Machine Learning 알고리즘을 공부하다보면 Likelihood, ML, MAP 등의 용어가 나온다.

1. Likelihood 의 개념

likelihood : 주어진 1개 이상의 관측(observations) 에 대해서 가설 (parameter : 예를들면 확률분포의 평균과 분산) 이 맞을 정도를 scalar 로 수치화한 함수.

• $$L(\theta | x) = Prob(x | \theta)$$
• 위 수식에서 처럼 확률분포 (pdf) 를 이용해서 구한다.
• 하지만 Likelihood 는 확률이 아니다. 모든 event 의 likelihood 총합이 1.0 이 되지 않기 때문이다.

Kalman Filter 에서의 Likelihood 의 의미

• likelihood : 주어진 1개 이상의 관측(observations) 에 대해서 가설 (parameter : 예를들면 확률분포의 평균과 분산) 이 맞을 정도를 scalar 로 수치화한 함수.
• Kalman Filter 에서의 Likelihood
  
  • 관측 : measurement vector : $z$
  • 가설 :
    
    • $$N ( Hx_{k|k-1}, S )$$
    • 예측값을 평균으로 하고, S를 covariance 로 하는 정규분포
  • 측정된 measurement vector 에 대해서 현재의 가설(prediction state 와 covariance) 이 맞을 정도를 수치화한 함수. 를 Kalman Filter 에서의 Likelhood 라고 한다.

2. Maximum Likelihood (ML) 와 MAP

확률변수에서 얻은 observations (dataset) 를 토대로 가설 (parameter) 를 정하는 방법이다.

2.1. ML

$$D = (x_1, x_2, ..., x_n)$$

$$\begin{align} L(\theta | x) & = P(D | \theta) && \text{Liklihood 의 정의} \\ & = P(x_1 | \theta) P(x_2 | \theta) ... P(x_n | \theta) \\ & = \prod{(x_i | \theta)} \\ \end{align}$$

$$\begin{align} \hat \theta & = argmax_{\theta} \prod{(x_i | \theta)} \\ & = argmax_{\theta} \log(\prod{(x_i | \theta)}) && \text{log는 단조 증가함수 이므로} \\ & = argmax_{\theta} \sum{ \log(P(x_i | \theta)} \\ \end{align}$$

likelihood 의 총합을 최대로 하는 parameter $\theta$ 를 선택하는 것이 ML 이다.

2.2. MAP

$$\begin{align} P( \theta | D ) = \frac{P( D | \theta ) P(\theta)}{P(D)} \end{align}$$

$$\begin{align} \hat \theta & = argmax_{\theta} \prod{(x_i | \theta) P(\theta)} \\ & = argmax_{\theta} \log(\prod{(x_i | \theta)} P(\theta)) && \text{log는 단조 증가함수 이므로} \\ & = argmax_{\theta} \sum{ \log(P(x_i | \theta)} + \log(P(\theta)) \\ \end{align}$$

likelihood 와 parameter 에 대한 prior 확률을 감안해서 parameter 를 선택하는 것이 MAP 이다.