定義関数とマルコフ・チェビシェフ・チェルノフの不等式 #統計検定

はじめに

一様分布の最尤推定～尤度方程式の罠～ #統計検定 - jiku logにおいて，定義関数 $I_{[ A]}$ を紹介した。定義関数は，

\begin{equation}
I_{[A]}=
\begin{cases}
1 & \text{if $A$ is true,} \\
0 & \text{otherwise}
\end{cases}
\end{equation}

で定義される。

この定義関数は，マルコフの不等式やチェビシェフの不等式といった確率不等式とかかわりが深いので，これらについて紹介する。

はじめに
- 目次
定義関数と確率密度関数・累積分布関数
マルコフの不等式
- 1)定義関数による積分範囲の絞り込み
- 2)変数→定数による値の絞り込み
チェビシェフの不等式
チェルノフの不等式
- チェルノフの不等式と統計検定
まとめ
- 参考文献

定義関数と確率密度関数・累積分布関数

定義関数の具体例として， $c \gt 0$ として，

\begin{equation}
I_{[x \geq c]}=
\begin{cases}
1 & \text{if $x \geq c$,} \\
0 & \text{if $x \lt c$}
\end{cases}
\end{equation}

を考える。

確率密度関数 $f_X(x)$ (ただし， $0 \leq x \lt \infty$ )が与えられたときに，定義関数の期待値を考えよう。

$\displaystyle E[ I_{[ x \geq c]} ] = \int_{0}^{\infty} I_{[ x \geq c]} f_X(x) dx$

ここで， $I_{[ x \geq c]} f_X(x)$ は， $x \lt c$ において0になる。すなわち，定義関数には積分範囲を制限するという性質があるといえる。

$\displaystyle E[ I_{[ x \geq c]} ] = \int_{c}^{\infty} f_X(x) dx = P(X \geq c)$

となり確率が出てくる。つまり定義関数の期待値は確率になる。

マルコフの不等式

マルコフの不等式は，確率の値を期待値(1次モーメント)で比較するための不等式である。
$X$ を非負の確率変数で， $E[X] \lt \infty$ ， $c \gt 0$ とする。

マルコフの不等式 :

$\displaystyle P(X \geq c) \leq \frac{E[ X ]}{c}$

この不等式は，分布関数の全体像が分かっていなくても，期待値さえ分かっていれば，確率の値の範囲を評価することができるという不等式である。

マルコフの不等式を導出するためには，

定義関数による積分範囲の絞り込み
変数→定数による値の絞り込み

という2段階の評価を行なう。

1)定義関数による積分範囲の絞り込み

定義関数を用いると，期待値は，

$\begin{align} E[ X ] &= \int_{0}^{\infty} x f_X(x) dx \\ &= \int_{0}^{\infty} ( I_{[ x \geq c]} + I_{[ x \lt c]} ) x f_X(x) dx \end{align}$

となる。これより，定義関数による積分範囲の絞り込みを行なう。

$\begin{align} E[ X ] & \geq \int_{0}^{\infty} ( I_{[ x \geq c]} ) x f_X(x) dx \\ &= \int_{c}^{\infty} x f_X(x) dx \\ \end{align}$

となる。

2)変数→定数による値の絞り込み

さらにこの積分範囲では， $x \geq c$ なので，

$\begin{align} E[ X ] &= \int_{c}^{\infty} x f_X(x) dx \\ & \geq \int_{c}^{\infty} c f_X(x) dx \\ &= c P(X \geq c) \end{align}$

となり，マルコフの不等式が得られた。

チェビシェフの不等式

チェビシェフの不等式は，大数の弱法則を証明する際に用いられる公式で，確率の値を分散(2次モーメント)で評価する不等式である。
確率変数 $Y$ について，平均 $\mu = E[Y]$ と分散 $\sigma^2 = V[Y]$ が存在すると仮定したときに成り立つ。

チェビシェフの不等式 :

$\displaystyle P(|Y - \mu | \geq k) \leq \frac{\sigma^2}{k^2}$

証明にはマルコフの不等式を用いればよく，マルコフの不等式において， $X = (Y - \mu)^2, c = k^2$ とおけばよい。

チェルノフの不等式

最後にチェルノフの不等式を紹介する。チェルノフの方程式は，確率の値をモーメント母関数で評価する不等式である。

$t \gt 0, a \gt 0$ について， $\phi(x) = e^{tx}$ が非負の単調増加関数であるため，

$\displaystyle P(X \geq a) = P(e^{tX} \geq e^{ta})$

が成り立つ。これを用いると，マルコフの不等式からチェルノフの不等式を求めることができる。

チェルノフの不等式 :

$\displaystyle P(X \geq a) = P(e^{tX} \geq e^{ta}) \leq \frac{E[ e^{tX} ]}{e^{ta}}$

チェルノフの不等式と統計検定

このチェルノフの不等式だが，離散分布・確率母関数版が，2019年の統計検定1級　統計数理　問1に出題されている。
books.jitsumu.co.jp

まとめ

数理統計学の分野でよく用いられる定義関数をスタート地点として，マルコフ・チェビシェフ・チェルノフの各不等式について説明した。マルコフの不等式の導出のポイントは

定義関数による積分範囲の絞り込み
変数→定数による値の絞り込み

の2点である。
またチェビシェフ・チェルノフの各不等式は，マルコフの不等式から導出できる。

参考文献

確率不等式の話題は，杉山将著　「機械学習プロフェッショナルシリーズ　機械学習のための確率と統計」に詳細に説明されている。
www.kspub.co.jp

ランキング参加中

統計