CV学習学習日記② 〜様々な動作パターンに対応せよ〜
ラグランジュ乗数
束縛条件のもとで最適化を行うための数学（解析学）的な方法である
いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える.
各束縛条件に対して定数（未定乗数、Lagrange multiplier）を用意し、これらを係数とする線形結合を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の極値問題として解くことができる方法
簡単に
二つの条件を，一つの式で表せて便利だよ
最大事後確率
最尤推定
藤井四段が勝つ確率θを実際に求めることはできないので，この確率が一番それっぽい！というのを推定する手法。θ=30%である確率，θ=40%である確率，...の中から最大となる確率θを選ぶ。
と書くことができる。「確率がθの時，データがDである確率が最大であるようなθ」
例えば，「藤井四段の勝率が90%とした時，データが28連勝である確率が最大」であればθ=90%となる。
詳しい数式は省くが，一般的には
で求められる。
「N回の対局で，n回勝った時の確率θ」が最尤だよ
MAP推定(最大事後確率推定)
最尤推定では，データが少ないと信憑性がない。3回の対戦では実力はわからない。
ベイズの定理より，P(A|B)とP(B|A)を入れ替えることができる。
「Bが起きた時，Aも起きる確率」→「Aが起きた時，Bも起きる確率」
これより，
藤井四段が28連勝した時，勝率がθである確率が最大となるθを見つけたいならば，
「勝率がθであるときに，藤井四段が28連勝している確率」*「勝率がθである確率をかけたものが最大」であれば良いことになる。
前者は計算によって求められる。
P(θ)は，人間様が決めてあげるやつ。簡略化のために，共役事前分布を用いる。
結果が２通りの場合はベータ分布を用いる。
これを用いてMAP推定をすると，
θがβによって補正されていることがわかる。
β=1の時最尤推定となり，βが大きいほど分母と分子の比が1:2に近づく。すなわち50%に近づくため平均に寄せる働きが強くなる。
ベイズ推定
MAP推定に加え，信頼性を考慮するためにargmaxを取らずに計算する手法。計算が複雑になりがちである。
ディリクレ分布
多項分布の共役事前分布でサイコロの目の出やすさを表してるよ
