PRML読書会 第一回目まとめpart2

Chapter1:序論

Machine Larning ←膨大なデータにも対応できる。

• 文字の識別(画像から文字を識別する)
• y: x → t :category をつくる。
  • Training : { , ... , }に対して（手動での）ラベリング
  • Test: xのcategory決定が可能に
• Machine Learning の色々
  • Supervised x,tが必要
    • classification(離散)
    • regression(連続)
  • Unsupervised　: tなし
    • clustering
    • density estimation
  • reinforcement :報酬最大化
    • ニューラルネットワークのバックギャモンプレイ。下記リンクを参照
    • Wikipedia:バックギャモン http://bit.ly/cF5E8X

多項式フィッティングを題材にしてみる

多項式フィッティング

背景にある関数が存在する。

有限個の点を取り、その関数を推定する。

• Observation
  • x = , ... ,
  • t = , ... ,
• Target: new input に対し を予想。

Model

• y(x,w) =

• wに関して線型
  • Curve fitting
  • Polynomial - M-dimention,w(係数)
  • どうやったら最適なパラメーターが得られるのか？
  • wの決定: Error functionの最小化。←最小二乗法
  • Mの決定: Generalizationをよくする。

Over-fittingの回避

• Nをふやす。
• Regularization(正則化)
• w用のTraining setとM用の Validation set
• Bayesian approach!