赤池情報量基準(AIC)を確率分布関数から最尤法を用いて計算する

　多変量解析の際の変数選択の一つの指標として赤池情報量基準 (Akaike information criterion) があります．詳細は成書を参考にしていただきたいのですが，N を自由パラメータ数とすると下式で求まります．

$\displaystyle AIC = -2(Maximum\ Log\ Likelihood)+2N$

　モデルの自由パラメータ数とは，想定したモデルに含まれるパラメータの値が動く空間の次元のことです．AIC は想定したモデルを最尤法で推定した時の評価基準であり，対数尤度のバイアスが漸近的にモデルに含まれる自由パラメータ数となることを示しています．

　最大対数尤度はどう求めるのでしょうか．ここで下式のように対数尤度関数を定義します．f(x|θ) は確率分布関数であり，分布によって形が変化します．

$\displaystyle l(\theta) = \sum_{\alpha=1}^{n}\log f(x_{\alpha}|\theta)$

　この l(θ) を最大化する $\hat\theta$ が最尤推定量であり，この方法を最尤法といいます． $l(\hat\theta) = \Sigma_{\alpha=1}^{n}\log f(x_\alpha |\hat\theta)$ を最大対数尤度と呼びます．

　対数尤度関数 l(θ) が微分可能な場合，最尤推定量 $\hat\theta$ は尤度方程式を微分した解が 0 となる θ を求めることで求まります．

$\displaystyle \frac{\partial l(\theta)}{\partial \theta} = 0$

投稿者: admin

趣味：写真撮影とデータベース．カメラ：TOYO FIELD, Hasselblad 500C/M, Leica M6． SQL Server 2008 R2, MySQL, Microsoft Access． admin のすべての投稿を表示