逆ガンマ分布の導出～標準ベイズ統計学第5章を題材として～

はじめに

ベイズ統計学の基礎をあらためて学ぶために，ピーター・D・ホフ著，入江薫・菅澤翔之助・橋本真太郎訳「標準ベイズ統計学」を読むことにした。

本記事では，第5章に登場した，逆ガンマ分布についてまとめた。

本記事のハイライト

逆ガンマ分布は，変数 $Y$ がガンマ分布にしたがうとき，変数 $X = 1/Y$ がしたがう分布である。
確率密度関数の導出を説明し，その後平均・分散の導出手順を示した。

第5章　正規モデル

正規モデルと逆ガンマ分布

変数が1次元正規分布 $p(y \mid \theta, \sigma^2)$ にしたがう正規モデルについて，パラメータ $\theta, \sigma^2$ はそれぞれ，

$\begin{align} \theta &\sim \text{normal}(\mu_0, \tau_0^2) \\ \\ 1/\sigma^2 &\sim \text{gamma} \left(\frac{\nu_0}{2}, \frac{\nu_0}{2} \sigma_0^2 \right) \\ \\ \end{align}$

のように設定した。このように $1/\sigma^2$ がガンマ分布にしたがうとき，その逆数 $\sigma^2$ は逆ガンマ分布にしたがう。

本記事では，逆ガンマ分布の確率密度関数の導出について説明した。

ガンマ分布の復習

ガンマ分布 $\text{gamma}(a, b)$ (ただし， $a \gt 0, b \gt 0$ )の確率密度関数は，以下のように表される。

$\begin{align} p(x \mid a, b) = \frac{b^a}{\Gamma(a)} x^{a-1} e^{-bx} \quad (x \gt 0) \\ \\ \end{align}$

ガンマ分布の平均と分散はそれぞれ，

$\begin{align} E [ X ] = a/b, \quad V[X] = a/b^2 \\ \\ \end{align}$

になる。

なおガンマ分布の別の表記として，

$\begin{align} p(x \mid a, \nu) = \frac{1}{\Gamma(a) \nu^a} x^{a-1} e^{-x/\nu} \quad (x \gt 0) \\ \\ \end{align}$

という表記も存在する。

逆ガンマ分布

定義

変数 $Y$ がガンマ分布にしたがうとする。すなわち $Y \sim \text{gamma}(a, b)$ であり，確率密度関数で表すと，

$\begin{align} p(y \mid a, b) = \frac{b^a}{\Gamma(a)} y^{a-1} e^{-by} \quad (y \gt 0) \\ \\ \end{align}$

である。

変数変換 $X = g(X) = 1/Y$ を行なったとき， $X$ がしたがう確率分布が逆ガンマ分布である。

導出

定義域の確認

変数変換を行なう際には，定義域の確認が重要である。 $Y \gt 0$ であるため， $X \gt 0$ である。またこの変換は1対1変換であるため，ヤコビアンによる変数変換を行なうことができる。

$Y$ および $X$ の確率密度関数をそれぞれ $f_Y(y), f_X(x)$ と表すと，変数変換 $X = g(X) = 1/Y$ によって $f_Y(y)$ を変数変換した確率密度関数 $f_X(x)$ は，

$\begin{align} f_X(x) = f_Y(g^{-1}(x)) \left\lvert \frac{dy}{dx} \right\rvert \\ \\ \end{align}$

となる。

$Y = g^{-1}(X) = 1/X$ であるため， $\lvert dy/dx \rvert = 1/x^2$ である。よって $f_X(x)$ は，

$\begin{align} f_X(x) &= \frac{b^a}{\Gamma(a)} (x^{-1})^{a-1} e^{-b/x} \cdot \frac{1}{x^2} \\ \\ &= \frac{b^a}{\Gamma(a)} x^{-a-1} e^{-b/x} \quad (x \gt 0) \\ \\ \end{align}$

となる。

これを逆ガンマ分布 $\text{inverse-gamma}(a, b)$ と表す。

逆ガンマ分布の平均

逆ガンマ分布は，積分すると1になるため，

$\begin{align} &\int_{0}^{\infty} \frac{b^a}{\Gamma(a)} x^{-a-1} e^{-b/x} dx = 1\\ \\ \therefore & \int_{0}^{\infty} x^{-a-1} e^{-b/x} dx = \frac{\Gamma(a)}{b^a} \\ \\ \end{align}$

となる。

逆ガンマ分布の平均は

$\begin{align} E[ X ] &= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} x \cdot x^{-a-1} e^{-b/x} dx\\ \\ &= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} x^{-(a-1)-1} e^{-b/x} dx\\ \\ \end{align}$

となる。

この積分が存在する条件は $a-1 \gt 0$ すなわち $a \gt 1$ である。このとき，逆ガンマ分布 $\text{inverse-gamma}(a-1,b )$ の積分を考えると，

$\begin{align} E[ X ] &= \frac{b^a}{\Gamma(a)} \cdot \frac{\Gamma(a-1)}{b^{a-1}} \\ \\ &= \frac{b^a}{(a-1)\Gamma(a-1)} \cdot \frac{\Gamma(a-1)}{b^{a-1}} = \frac{b}{a-1} \\ \\ \end{align}$

となる。ただし，ガンマ分布の性質 $\Gamma(a) = (a-1)\Gamma(a-1)$ を用いた。

逆ガンマ分布の分散

平均のときと同様に考えると，

$\begin{align} E[ X^2 ] &= \frac{b^a}{\Gamma(a)} \cdot \frac{\Gamma(a-2)}{b^{a-2}} \\ \\ &= \frac{b^a}{(a-1)(a-2)\Gamma(a-2)} \cdot \frac{\Gamma(a-2)}{b^{a-2}} = \frac{b^2}{(a-1)(a-2)} \\ \\ \end{align}$

となる(ただし，この積分が存在するのは $a \gt 2$ のとき)。

よって分散は，

$\begin{align} V[ X ] &= E[ X^2 ] - (E[ X ] )^2 \\ \\ &= \frac{b^2}{(a-1)(a-2)} - \frac{b^2}{(a-1)^2} = \frac{b^2}{(a-1)^2(a-2)} \\ \\ \end{align}$

となる。

ガンマ分布の分布形状

パラメータ $(a, b)$ を変えながら，逆ガンマ分布 $\text{inverse-gamma}(a,b)$ のグラフを描画した。

描画用コード：

クリックで展開

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_style(style='darkgrid')

from scipy.stats import invgamma

# x軸
x = np.linspace(0.01, 5, 1000)

# (a, b) の組み合わせ
params = [
    (1.0, 1.0),
    (3.0, 1.0),
    (3.0, 2.0),
    (5.0, 2.0),
    (5.0, 5.0),
]

plt.figure(figsize=(10, 6))

for a, b in params:
    y = invgamma.pdf(x, a=a, scale=b)
    plt.plot(
        x,
        y,
        lw=2,
        label=f"a={a}, b={b}"
    )

plt.title("Inverse Gamma Distribution")
plt.xlabel("x")
plt.ylabel("Density")
plt.xlim(0, 5)
plt.ylim(bottom=0)
plt.grid(alpha=0.3)
plt.legend()
plt.tight_layout()

plt.show()