PRML読書会 第二回まとめPart3

PRML
Chapter 2 :確率分布
Machine Learning
  • unsdupervised
    • density estimation
      • perametric
      • non-parametric
parametric(代表的なもの)
  • binary dist
  • normal dist
  • 指数型分布族
non-parametric
  • histgram
  • kernel
  • K-nearest neighber

特にGaussian distributionを見ていく。

  1. 基本的性質
  2. 条件付・周辺
  3. Bayes'
  4. 最尤
  5. Byesian
  6. 周期化・混合

無情報事前分布

Bernouli distribution : baised cointoss

  • X〜Bernoulli (p)
  • P(X=k | P ) = p^{k}(1-p)^{1-k}
  • E[x] = p
  • Var[x] = p(1-p)
  • X_{i}〜Bernouli (p)
  • X = \sum_{i=1}^{n} X_{i} とおけばX〜B(n,p)

Binary dist

  • X〜B(n,p)
  • P(X = k | n,p) =\left( n \\ k \right) p^{k}(1-p)^{n-k}
  • E[X] = np
  • Var[X]=np(1-p)

given Data D={x_{1} , ... , x_{N} }

  • P(D | p) = \prod P(X_{n} = x_{n} | P) = \prod p^{x_{n}}(1-p)^{1-x_{n}}
  • 最尤
    • P_{ML} = \frac{1}{N} \Sigma x_{n}
    • もしx_{n} = 1 \to P_{ML} = 1

prior の選択 : conjugacy

  • X = Beta(a,b)
  • P(X = p | a,b) = \frac{\Gamma (a+B)}{\Gamma (a)\Gamma (b)} P^{a-1}(1-p)^{b-1} 分数の部分は正規化のため
  • E[X] = \frac{a}{a+b}
  • Var[X] = \frac{ab}{(a+b)^{2}(a+b+1)}

where...

  • \Gamma (x) = \int_{0}^{\infty}u^{x-1}e^{-u}du
  • \Gamma (x+1) = x\Gamma (x), \Gamma (1) = 1
  • \Gamma (n+1) = n!

どう改善さるか？

  • x〜Berunoulli:(μ)
  • μ〜Beta(a,b)

Freq :

  • P(x=1 | p_{ML}, D) = p_{ML} = \frac{1}{N} \Sigma x_{n}

Bayes:

  • P(x = 1 | D)
  • = \int_{0}^{1} p(x=1 | \mu) p(\mu | D) d\mu
  • = \int_{0}^{1}\mu P(\mu | D)d\mu
  • = E[\mu | D
  • = \frac{m+a}{m+a+l+b} = \frac{1}{N+a+b}\left( \sum x_{n} + a\right)

逐次学習が出来る。
mとNのカウントを更新するだけ！

一般化

単に多次元になるだけで話しの流れは同じなのでとばす。
表現方法は異なるがk=2とすればさっきの例