「入門確率過程」を読む　～第4章多次元確率変数・第5章独立確率変数とその応用～

はじめに

確率過程は数理統計学の応用分野であり，製造業で扱う時系列データ解析ともかかわりがある。松原望編著・山中卓・小船幹生著「改訂版入門確率過程」は，確率過程に関する入門書としてロングセラーである。確率過程の基礎と応用を学ぶために，本書を読むこととした。

本記事は，「第4章多次元確率変数」および「第5章独立確率変数とその応用」に関する読書メモである。

第4章多次元確率変数

本章では2個以上の確率変数を同時に扱う多次元確率変数について説明している。具体的には，

同時確率分布
周辺確率分布
共分散と相関係数

などが紹介されている。

いずれも基本的な話題ではあるが，興味深かった内容について紹介する。

最大値・最小値の同時分布

本書P68に，3つの独立な連続一様分布にしたがう確率変数 $X_1, X_2, X_3 \sim U(0, 1)$ について，

$X$ : 確率変数 $X_1, X_2, X_3$ の最大値
$Y$ : 確率変数 $X_1, X_2, X_3$ の最小値

として，この同時分布を求める問題が紹介されていた。導出手順が紹介されていなかったので，以下に説明する。

確率変数 $X_1, ..., X_n$ が独立に確率密度関数 $f(x)$ にしたがうとする。また累積分布関数を $F(x)$ とする。
第 $i$ 順序統計量と第 $j$ 順序統計量(ただし $i \lt j$ )の同時確率密度関数は，

$\begin{align} f(x, y) = \frac{ n! }{ (i-1)! (j - i - 1)! (n - j)! } f(x) f(y) F(y)^{i-1} (F(x) - F(y))^{j-i-1} (1-F(x))^{n-j} \\ \\ \end{align}$

で表される*1。

連続一様分布の場合，

$\begin{align} f(x) = \begin{cases} 1 & (0 \leq x \leq 1) \\ \\ 0 & (\text{otherwise}) \end{cases} \\ \\ F(x) = \begin{cases} 0 & (x \lt 0) \\ \\ x & (0 \leq x \leq 1) \\ \\ 1 & (1 \lt x) \end{cases} \\ \\ \end{align}$

なので， $X_1, X_2, X_3$ の最大値・最小値の同時分布は，

$\begin{align} f(x, y) &= \frac{ 3! }{ (i-1)! (3 - 1 - 1)! (3 - 3)! } 1 \cdot 1 \cdot y^{1-1} (x - y)^{3-1-1} (1 - x)^{3-3} \\ \\ &= 6(x - y), \quad (0 \leq y \lt x \leq 1) \\ \\ \end{align}$

となる。

第5章独立確率変数とその応用

本章では，独立な複数の確率変数に関する諸性質について説明している。具体的には，

独立と無相関
和の確率分布(コンボリューション)
多次元正規分布
多次元正規分布の条件付き分布

などである。

この中で特に，条件付期待値の演算テクニックは，この後の章でも参考になりそうな内容であった。

二段階期待値の計算

二段階期待値の計算とは，

$\begin{align} E_Y(E(X \mid Y)) = E_X(X) \\ \\ \end{align}$

という，統計検定ではおなじみの公式である。

上記の例では，条件付けする変数が $Y$ のみであるが，これが2変数 $(Y, Z)$ であったとしても同様に，

$\begin{align} E_{Y,Z}(E(X \mid Y, Z)) = E_X(X) \\ \\ \end{align}$

が成り立つ。

独立なら条件は'スルー'

確率変数 $X, Y$ が互いに独立であれば，

$\begin{align} E(X \mid Y) = E(X) \\ \\ \end{align}$

が成り立つ。これは，この後の章で出てくるランダム・ウォークや，ブラウン運動，マルチンゲールの計算で絶大な力を発揮するとのことである。

関数の期待値

$X$ が $Y$ の関数 $X=g(Y)$ であるとき，条件付ける変数として $Y$ が与えられると， $X=g(Y)$ は関数ではなく1点に定まるので，

$\begin{align} E(g(Y) \mid Y) = g(Y) \\ \\ \end{align}$

となる。すなわち，関数 $g(Y)$ の期待値を求める際に，関数に含まれる変数と，条件付ける変数が同じならば，関数の期待値 $E(g(Y))$ と関数値 $g(Y)$ は等しいということになる。この性質は，マルチンゲールの計算において有用である。

定数取り出し

一般に $E(XY) \neq E(X)E(Y)$ であるが， $X$ が条件付ける変数である場合，期待値計算の中では定数とみなせるため，

$\begin{align} E(XY \mid X) = X E(Y \mid X) \\ \\ \end{align}$

が成り立つ。

条件の1対1変換

条件付ける変数が1対1変換の場合を考える。例えば， $(Y, Z)$ から $(Y+Z, Y-Z)$ を求める変換は1対1変換となるが，この場合

$\begin{align} E(X \mid Y, Z) = E(X \mid Y+Z, Y-Z) \\ \\ \end{align}$

が成り立つ。

部分和への変換では，

$\begin{align} &S_1=X_1, \quad S_2=X_1+X_2, \quad, \cdots, \quad S_n=X_1+\cdots+X_n \\ \\ \Leftrightarrow &X_1=S_1, \quad X_2=S_2-S_1, \quad X_3=S_3-S_2, \cdots \\ \\ \end{align}$

となるので，