【統計検定準1級対策】独立と無相関～「機械学習のための確率と統計」で学ぶ

はじめに

講談社の「機械学習プロフェッショナルシリーズ」の「機械学習のための確率と統計」は，AI・機械学習の基礎理解に役立つ本であるが，統計検定1級や統計検定準1級の学習を進めるうえでも参考になると感じている。

本記事では，「第4章多次元確率分布の性質」を題材に，独立と無相関についてまとめた。

想定読者

統計検定準1級・1級に興味を持たれている方で，基礎理解の勉強を一通りされており，各単元の内容の理解を深めようとしている方。

第4章多次元確率分布の性質

独立と無相関

本章の4.6節では，独立と無相関の違いについて説明している。

確率変数 $x, y$ について，

$\begin{align} f(x, y) = g(x) h(y) \\ \\ \end{align}$

が成り立つとき， $x$ と $y$ は統計的に独立(independent)であるという。

$x$ と $y$ が独立であるとき， $x$ と $y$ は無相関になる。すなわち，

$x$ と $y$ が独立である $\Leftarrow$ $\mathrm{Cov}[x, y] = 0$

が成り立つ。

一方で，この逆はかならずしも成り立たない。すなわち，独立性も無相関性も，ともに $x$ と $y$ の「無関係さ」を表すが，独立性の方が無相関性よりも強い。

たとえば，

$\begin{align} f(x, y) \begin{cases} 1 & (\lvert x \rvert + \lvert y \rvert \leq 1/\sqrt{2}) \\ \\ 0 & (\text{otherwise}) \end{cases} \\ \\ \end{align}$

を考えると， $x$ と $y$ は無相関ではあるが，独立ではない。

$\mathrm{Cov}[x, y]$ を計算すると，これは0になる。
一方で $x$ と $y$ の周辺確率密度関数は，

$\begin{align} g(x) &= \max(0, \sqrt{2} - 2 \lvert x \rvert ), \\ \\ h(y) &= \max(0, \sqrt{2} - 2 \lvert y \rvert ) \\ \\ \end{align}$

なので，

$\begin{align} f(x, y) \neq g(x) h(y) \\ \\ \end{align}$

となり， $x$ と $y$ は独立ではない。

描画用コードはクリックで展開

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_style(style='darkgrid')

# ==========================
# 格子点の作成
# ==========================
n = 401

x = np.linspace(-1, 1, n)
y = np.linspace(-1, 1, n)
X, Y = np.meshgrid(x, y)

# ==========================
# f(x,y)
# ==========================
F = np.where(np.abs(X) + np.abs(Y) <= 1/np.sqrt(2), 1.0, 0.0)

# ==========================
# g(x)h(y)
# ==========================
G = np.maximum(0, np.sqrt(2) - 2*np.abs(X))
H = np.maximum(0, np.sqrt(2) - 2*np.abs(Y))
GH = G * H

# ==========================
# 描画
# ==========================
fig, axes = plt.subplots(1, 2, figsize=(12, 5))

# ---- f(x,y) ----
cs1 = axes[0].contourf(
    X, Y, F,
    levels=np.linspace(0, 1, 11),
    cmap="viridis"
)
axes[0].set_title(r"$f(x,y)$")
axes[0].set_xlabel("$x$")
axes[0].set_ylabel("$y$")
axes[0].set_aspect("equal")
fig.colorbar(cs1, ax=axes[0])

# ---- g(x)h(y) ----
cs2 = axes[1].contourf(
    X, Y, GH,
    levels=20,
    cmap="viridis"
)
axes[1].set_title(r"$g(x)h(y)$")
axes[1].set_xlabel("$x$")
axes[1].set_ylabel("$y$")
axes[1].set_aspect("equal")
fig.colorbar(cs2, ax=axes[1])

plt.tight_layout()
plt.show()

2変量正規分布

一般に，「無相関」⇒「独立」は成立たないが，2変量正規分布の場合は，これが成り立つ。

2変量正規分布は以下の式で表される。

$\begin{align} \mathcal{N} (\mathbfit{\mu}, \mathbfit{\Sigma}) = \frac{1}{(2\pi)^{1/2} \lvert \mathbfit{\Sigma} \rvert ^{1/2}} \exp \left( -\frac{1}{2} (\mathbfit{z} - \mathbfit{\mu})^T \mathbfit{\Sigma} (\mathbfit{z} - \mathbfit{\mu}) \right) \\ \\ \end{align}$

ただし， $\mathbfit{z} = [x, y]^T$ である。

$\exp$ の部分を詳細に書くと，

$\begin{align} \mathcal{N} \left( \begin{bmatrix} \mu_x \\ \mu_y \\ \end{bmatrix} , \begin{bmatrix} \sigma{xx} & \sigma_{xy} \\ \sigma_{yx} & \sigma_{yy} \\ \end{bmatrix} \right) \propto \exp \left( -\frac{1}{2} \begin{bmatrix} (x - \mu_x)^T & (y - \mu_y)^T \\ \end{bmatrix} \begin{bmatrix} \sigma^2_{xx} & \sigma_{xy} \\ \sigma_{yx} & \sigma^2_{yy} \\ \end{bmatrix}^{-1} \begin{bmatrix} x - \mu_x \\ y - \mu_y \\ \end{bmatrix} \right) \\ \\ \end{align}$

となる。

$x$ と $y$ 無相関である場合， $\sigma_{xy} = \sigma_{yx} = 0$ となるが，このとき

$\begin{align} &\exp \left( -\frac{1}{2} \begin{bmatrix} (x - \mu_x)^T & (y - \mu_y)^T \\ \end{bmatrix} \begin{bmatrix} \sigma^2_{xx} & 0 \\ 0 & \sigma^2_{yy} \\ \end{bmatrix}^{-1} \begin{bmatrix} x - \mu_x \\ y - \mu_y \\ \end{bmatrix} \right) \\ \\ =&\exp \left( -\frac{1}{2} \frac{(x - \mu_x)^2}{\sigma_{xx}^2} \right) \times \exp \left( -\frac{1}{2} \frac{(y - \mu_y)^2}{\sigma_{yy}^2} \right) \\ \\ \end{align}$

となり， $x$ を含む確率密度関数と， $y$ を含む確率密度関数が分離されるので，独立になる。