スコア関数を活用した期待値の計算 #統計検定

はじめに

統計検定において，期待値の計算はよく出てくる問題の1つである。基本的に期待値は定義にしたがって計算することが多いが，今回は少し変わった方法として，スコア関数を活用した期待値計算の方法を紹介する。

問題設定

期待値計算の問題として，以下のような問題設定を考える。

確率変数 $X$ の確率密度関数 $f_X(x)$ は以下のようなガンマ分布であるとする。

\begin{equation}
f_X(x|\alpha, \beta) =
\begin{cases}
\frac{1}{\Gamma(\alpha) \beta ^ \alpha } x ^ {\alpha-1} e^{- \frac{x}{\beta}} & (0 \leq x ) \\
0 & \text{otherwise}
\end{cases}
\end{equation}
この時， $E[ \log{X}]$ を求めよ。

では早速，正面突破を試みてみよう。

$\displaystyle E[\log{X}] = \int_{0}^{\infty} \frac{1}{\Gamma(\alpha) \beta ^ \alpha } (\log{x}) x ^ {\alpha-1} e^{- \frac{x}{\beta}} dx$

これ以上は，式変形が出来なさそうである。

そこで，スコア関数を活用した期待値計算の方法について紹介しよう。

スコア関数を活用した期待値の計算

スコア関数のおさらい

スコア関数 $S(\theta, X)$ は，最尤法やフィッシャー情報量の導出の際に出てくる関数である。パラメータ $\theta$ を持つ確率密度関数を $f(x | \theta)$ とすると，スコア関数は，

$\displaystyle S(\theta, X) = \frac{d}{d \theta} \log{f(x | \theta)}$

で定義される。スコア関数の重要な性質として，スコア関数の期待値は0であるという性質がある。

$\displaystyle E[S(\theta, X) ] = E \left[ \frac{d}{d \theta} \log{f(x | \theta)} \right] = \int \left\{ \frac{d}{d \theta} \log{ f(x | \theta) } \right\} f(x | \theta) d\theta = 0$

証明は，久保川達也著「現代数理統計学の基礎」のP130(第6章)に紹介されている。

ガンマ分布におけるスコア関数の計算

ガンマ分布について，対数を取ってみよう。

$\begin{align} \log{ f_X(x|\alpha, \beta) } &= \log{ \frac{1}{\Gamma(\alpha) \beta ^ \alpha } x ^ {\alpha-1} e^{- \frac{x}{\beta}} } \\ &= (\alpha-1)\log{x} - \frac{x}{\beta} -\log{\Gamma(\alpha) } - \alpha \log{\beta} \\ \end{align}$

次に，パラメータ $\alpha$ で微分してみよう。

$\begin{align} \frac{\partial}{\partial \alpha} \log{ f_X(x|\alpha, \beta) } &= \log{x} - \frac{d}{d\alpha} \log{\Gamma(\alpha) } - \log{\beta} \\ \end{align}$

この左辺がスコア関数であり，期待値を取ると0になる。両辺の期待値を取ると，

$\begin{align} E \left[ \frac{\partial}{\partial \alpha} \log{ f_X(x|\alpha, \beta) } \right] &= E [ \log{x} ] - \frac{d}{d\alpha} \log{\Gamma(\alpha) } - \log{\beta} \\ &= 0 \end{align}$

よって，