ガンマ分布の正規近似とスターリングの公式 #統計検定

はじめに

先日作成した記事であるガンマ分布における変数変換 #統計検定 - jiku logにおいて，ガンマ分布を正規分布で近似する，という説明を行なった。
その後，X(旧Twitter)上で，以下の指摘を頂いた。

#統計ガンマ分布の中心極限定理

モーメント母関数の収束ではなく、密度関数

p(x|α,θ)dx = if x > 0 then (1/(θ^αΓ(α)))exp(-x/θ)x^{α-1}dx else 0

でx=θ(α+√α y)とおいてα→∞としたときの収束を見た方が直接的でかつStirlingの公式も得られるのでお得だと思いました。https://t.co/udgz4hYP4x https://t.co/WNoa19Hyc3 pic.twitter.com/ekDaH6aDll
— 黒木玄 Gen Kuroki (@genkuroki) 2024年9月23日

ガンマ分布の正規分布で近似するだけでなく，スターリングの公式も導出してしまう，というエレガントな導出であった。
それと同時に，久保川達也著「現代数理統計学の基礎」のP50にあった「スターリングの公式」の説明についても理解できた。私が理解できた，スターリングの公式に関する内容について紹介する。

スターリングの公式の導出

スターリングの公式

スターリングの公式は，階乗を近似するための式である。

$\displaystyle \Gamma(\alpha + a) \approx \sqrt{2 \pi} \alpha ^{\alpha + a - 1/2} e^{- \alpha}$

特に $a = 1$ のとき，

$\displaystyle \Gamma(\alpha + 1) = \alpha ! \approx \sqrt{2 \pi} \alpha ^{\alpha + 1/2} e^{- \alpha}$

となる。

なかなか覚えづらい式であるが，これを導出するための方針を説明していく。

方針

標準化の応用と置換積分

ガンマ分布 $Ga(\alpha, \beta)$ は， $\alpha \rightarrow \infty$ の極限において，正規分布に近似できる。

言い換えると，ガンマ分布にしたがう確率変数 $X$ について，

$\begin{align} Z = \frac{X - E[X ]}{\sqrt{V[X ]} } \end{align}$

のように標準化すると，確率変数は $Z$ は標準正規分布に近似できる，といえる。

確率変数 $X$ はガンマ分布にしたがい， $E[X] = \alpha \beta, V[X ]=\alpha \beta^2$ となるので，

$\begin{align} Z = \frac{X - E[X ]}{\sqrt{V[X ]} } = \frac{X - \alpha \beta }{\sqrt{\alpha \beta^2 } } \end{align}$

となる。よって，

$\begin{align} X = \alpha \beta + \sqrt{\alpha \beta^2 } Z = \beta(\alpha + \sqrt{\alpha}Z) \end{align}$

となる。

この変数変換は，久保川達也著「現代数理統計学の基礎」のP50にあった変数変換に近い式である。初見の際には，なぜこのような変数変換をするのか納得できなかったが，ガンマ分布を正規分布で近似することを考えると，ごく自然な変数変換であるということが分かる。

最後に，置換積分に向けた準備をしておく。
$x = \beta(\alpha + \sqrt{\alpha} z)$ より， $dx = \beta \sqrt{\alpha} dz$ である。
また， $0 \leq x \lt \infty$ より， $-\sqrt{\alpha} \leq z \lt \infty$ である。

少しずらす

スターリングの公式は， $\alpha$ が大きい値の場合における階乗の近似式である。そのため $\alpha$ も，それに小さな値 $a$ を加えた $\alpha + a$ も， $\alpha$ が大きい値の場合には大差がない。
その後の計算のことを考え， $Ga(\alpha, \beta)$ ではなく， $Ga(\alpha + a, \beta)$ の正規近似を考える。

導出

置換積分

確率密度関数 $Ga(\alpha + a, \beta)$ を積分すると1になるので，

$\begin{align} 1 = \frac{1}{\Gamma(\alpha+a) \beta^{\alpha + a}} \int_{0}^{\infty} x^{\alpha + a - 1} e^{-\frac{x}{\beta}} dx \end{align}$

となる。 $x = \beta(\alpha + \sqrt{\alpha} z)$ として置換積分すると，

$\begin{align} 1 &= \frac{1}{\Gamma(\alpha+a) \beta^{\alpha + a}} \int_{- \sqrt{\alpha}}^{\infty} \beta^{\alpha + a - 1} (\alpha + \sqrt{\alpha} z)^{\alpha + a - 1} e^{-(\alpha + \sqrt{\alpha} z)} \cdot \beta \sqrt{\alpha}dz \\ &= \frac{1}{\Gamma(\alpha+a)} \int_{- \sqrt{\alpha}}^{\infty} \alpha^{\alpha + a - 1/2} e^{-\alpha} \left( 1 + \frac{z}{\sqrt{\alpha}} \right)^{\alpha + a - 1} e^{-\sqrt{\alpha} z} dz \end{align}$

よって，

$\begin{align} \frac{\Gamma(\alpha+a)} { \alpha^{\alpha + a - 1/2} e^{-\alpha} } = \int_{- \sqrt{\alpha}}^{\infty} \left( 1 + \frac{z}{\sqrt{\alpha}} \right)^{\alpha + a - 1} e^{-\sqrt{\alpha} z} dz \end{align}$

となる。

標準正規分布の積分への近似

上式の右辺を，標準正規分布の積分を目指して変形していく。

$\begin{align} & \left( 1 + \frac{z}{\sqrt{\alpha}} \right)^{\alpha + a - 1} e^{-\sqrt{\alpha} z} = \exp{ \left( (\alpha + a - 1) \log{ \left( 1 + \frac{z}{\sqrt{\alpha}} \right) } -\sqrt{\alpha} z \right) } \\ &= \exp{ \left( (\alpha + a - 1) \left( \frac{z}{\sqrt{\alpha}} - \frac{z^2}{2 \alpha} +o(\alpha ^{-1}) \right) -\sqrt{\alpha} z \right) } \\ &= \exp{ \left( - \frac{z^2}{2} + o(1) \right) } \end{align}$

よって，

$\begin{align} \int_{- \sqrt{\alpha}}^{\infty} \left( 1 + \frac{z}{\sqrt{\alpha}} \right)^{\alpha + a - 1} e^{-\sqrt{\alpha} z} dz &= \int_{- \sqrt{\alpha}}^{\infty} \exp{ \left( - \frac{z^2}{2} + o(1) \right) } dz \\ & \rightarrow \sqrt{2 \pi} \quad (\alpha \rightarrow \infty) \end{align}$

以上より，