条件付期待値とラドン=ニコディム微分～「統計学への確率論，その先へ」第6章を読む

はじめに

測度論的確率論を分かりやすく説明している，清水泰隆・著「統計学への確率論，その先へ」(第1版)を読み，改めて測度論的確率論について学ぶことにした。

本記事は，「第6章　再訪・条件付期待値」における，条件付期待値とラドン=ニコディム微分に関する読書メモである。

第6章　再訪・条件付期待値

6.2 情報による条件付期待値

本書第6章は，条件付期待値に関する話題である。P155には，条件付期待値 $\mathbb{E}[X \mid Y=y]$ について，

$X$ が可積分ならば，条件付期待値 $\mathbb{E}[X \mid Y=y]$ が存在する。

条件付期待値はラドン=ニコディム微分に等しい，すなわち下式のようになる。

$\begin{align} \mathbb{E}[X \mid Y=y] = \frac{d \nu}{d F_Y} \\ \\ \end{align}$

との説明があった。

本記事では，この証明の流れを確認する。

条件付期待値

本章のテーマは，条件付期待値である。まずは，考えやすい離散型確率変数を考える。

条件付期待値は，本書P98において説明されており，以下で定義される。

$\begin{align} &\mathbb{E}[X \mid Y=y] = \sum_{i=1}^{\infty} x_i P_{X \mid Y} (x_i \mid y) \\ \\ &P_{X \mid Y} (x \mid y)= \begin{cases} \dfrac{P_{X, Y}(x, y)}{P_Y(y)} & (P_Y(y) \neq 0) \\ \\ 0 & (P_Y(y) = 0) \end{cases} \\ \\ \end{align}$

この定義の場合，連続型に拡張しようとしたときに， $P_Y(y) = 0$ の場合が扱いにくくなる。

そこで，測度を導入し，確率とは異なる観点から考えてみる。

測度の導入

確率測度 $F_Y$ を，確率変数 $Y$ から導入される確率測度であるとする。また，集合 $B$ はボレル集合体の元であるとする。

このとき，

$\begin{align} F_Y(B) = \mathbb{P}(Y \in B) = \mathbb{P}(Y^{-1}(B)) \\ \\ \end{align}$

のように表される。なお，これらは集合 $B$ やその元を引数にしているため，測度である。

測度がゼロの場合を考えると，

$\begin{align} F_Y(B) = \mathbb{P}(Y \in B) = 0 \\ \\ \end{align}$

となる。

測度による条件付期待値の表現

条件付期待値は，

$\mathbb{E}[X \mid Y=y]$ ： $Y=y$ という条件下における $X$ の期待値

と解釈できる。

確率測度による条件付期待値の解釈を与えるために，定義関数 $\mathbf{1}_B(Y)$ ，すなわち

$\begin{align} \mathbf{1}_B(Y) = \begin{cases} 1 & (Y \in B) \\ \\ 0 & (Y \notin B) \end{cases} \\ \\ \end{align}$

を用いて，

$\mathbb{E}[ X \mathbf{1}_B(Y) ]$ ： $Y$ が $B$ に入る部分における $X$ の期待値

を考える。

これを集合 $B$ の関数とみなし，

$\begin{align} \nu(B) = \mathbb{E}[ X \mathbf{1}_B(Y) ] \\ \\ \end{align}$

と置く。 $\nu(B)$ は集合を引数に取るため，測度であるとみなせる。

絶対連続の定義

ここまでの議論で， $F_Y(B)$ と $\nu(B)$ という2種類の測度が登場した。

2種類の測度の間の関係として絶対連続という関係がある(本書P193参照)。
たとえば，

$\begin{align} F_Y(B) = 0 \quad \Rightarrow \quad \nu(B)=0 \\ \\ \end{align}$

であるとき， $\nu$ は $F_Y$ に関して絶対連続であるといい， $\nu \ll F_Y$ と表現する。

●ブログ筆者註：
絶対連続の定義は，本書P193に記載している通りである。ただ，個人的には

$F_Y(B)=0$ となる区間は，必ず $\nu(B)=0$ となる。

そのため， $d \nu / dF_Y$ がゼロ割になりにくい。

というイメージで理解した。

「絶対連続」のイメージ

νはF_Yに関して絶対連続であることの確認

本書P155では， $\nu$ は $F_Y$ に関して絶対連続であると説明している。このことについて確認する。

まず前提として $F_Y(B)=0$ であるとすると，

$\begin{align} F_Y(B) = \mathbb{P}(Y \in B) = \mathbb{E}[ \mathbf{1}_B(Y) ] = 0 \\ \\ \end{align}$

となる。

よって，

$\begin{align} \mathbf{1}_B(Y) = 0 \quad a.s. \\ \\ \end{align}$

となる。

これを用いると，

$\begin{align} X\mathbf{1}_B(Y) = 0 \quad a.s. \\ \\ \end{align}$

となる。

よって，

$\begin{align} \nu(B) = \mathbb{E} [X\mathbf{1}_B(Y) ] = 0 \\ \\ \end{align}$

となる。

以上より， $F_Y(B)=0 \Rightarrow \nu(B)=0$ であり， $\nu$ は $F_Y$ に関して絶対連続である。

「Xが可積分であること」の使い道　※ブログ筆者補足：

ここで「 $X$ が可積分である」ということの使い道を確認する。

$X$ が可積分であるとは， $\mathbb{E}[ \lvert X \rvert ] \lt \infty$ を満たすことである。
ここで，

$\begin{align} \lvert X\mathbf{1}_B(Y) \rvert \leq \lvert X \rvert \\ \\ \end{align}$

であるため，

$\begin{align} \nu(B) = \mathbb{E}[ \lvert X\mathbf{1}_B(Y) \rvert ] \leq \mathbb{E}[ \lvert X \rvert ] \lt \infty \\ \\ \end{align}$

となる。

よって， $X$ が可積分であると， $\nu(B)$ が有限の値である，と言える。

絶対連続とラドン=ニコディムの定理

P194のラドン=ニコディムの定理を用いると， $\nu \ll F_Y$ であることから， $F_Y$ -可測関数 $G(y)$ が存在して，

$\begin{align} \nu(B) = \int_B G(y) F_Y (dy) , \quad G(y) = \dfrac{d \nu}{d F_Y} \\ \\ \end{align}$

となる。

ここで，本書P154-155の式(6.2)-(6.4)を用いると，

$\begin{align} \mathbb{E} [X\mathbf{1}_B(Y) ] = \int_B \mathbb{E}[ X \mid Y=y ] F_Y (dy) \\ \\ \end{align}$

であるので，これらの式を比較すると，

$\begin{align} \mathbb{E}[ X \mid Y=y ] = \dfrac{d \nu}{d F_Y} \\ \\ \end{align}$

となる。

条件付期待値の定義

ここまでに登場した $\mathbb{E} [X\mathbf{1}_B(Y) ]$ や $G(y)$ を用いて，条件付期待値は以下のように定義できる。

定義6.2.1．
$X,Y$ を確率変数とし， $X$ は可積分とする。このとき，ある可測関数 $G: \mathbb{R} \to \mathbb{R}$ で

$\begin{align} \mathbb{E} [X\mathbf{1}_B(Y) ] = \mathbb{E} [G(y) \mathbf{1}_B(Y) ], \quad B \in \mathcal{B} \\ \\ \end{align}$

を満たす $G(y)$ を $\mathbb{E} [X\mathbf{1}_B(Y) ]$ と書く。