多変量正規分布の条件付き分布の思い出し方 #統計検定

統計検定準1級・統計検定1級において，多変量正規分布の条件付き分布の公式は覚えておいて損のない公式である。これは多変量正規分布

において，変数 $y$ で条件付けた分布 $f(x|y)$ の平均と分散共分散行列が

になるというものである。ただ，重要であるものの，試験会場で緊張して忘れてしまう可能性があったので，思い出し方を整理してみた。

なおこれは厳密な証明ではないので，詳細はC.M. ビショップ著「パターン認識と機械学習」などを参照していただきたい。

また前提として，同時分布と条件付き分布の関係や，基礎的な線形代数の知識(行列積の逆行列など)があるものと仮定する。

条件付き分布の式を考えているので，最も基本的な式は「同時分布と条件付き分布の関係」であり，以下のとおりである。

$f(x, y) = f(y) \times f(x|y)$

いま興味があるのは後半の条件付き分布 $f(x|y)$ なのであるが，これは以下のように解釈できる。

同時分布 $f(x, y)$ から，条件付ける変数 $y$ の分布 $f(y)$ を作り出した後に残る分布が条件付き分布 $f(x|y)$ である。

そのため基本方針としては，「多変量正規分布から，条件付ける変数 $y$ のみの分布 $f(y)$ を作ることで，条件付き分布 $f(x|y)$ を得る」ということになる。厳密な表現ではないが，イメージとしては「 $f(y)$ を絞り出す」という感じである。

多変量正規分布は以下のようになっている。

もし， $\Sigma_{xy} = O$ ならば，分散共分散行列の逆行列も簡単に求まるうえに，変数 $x, y$ も独立になる。だが一般的にはそうとは限らない。そのため，分散共分散行列をうまく変形することを考える。

分散共分散行列の変形だが，逆行列を求めることを考慮し，ブロック上三角行列・ブロック対角行列・ブロック下三角行列の積で表現する。

このように表現しておくと，分散共分散行列の逆行列が比較的綺麗に求められる。

さらにこの表現において，中央のブロック対角行列は新たな分散共分散行列とみなせる。また，両脇のブロック上三角行列・ブロック下三角行列は，変数にかかってくる部分なので変数変換行列とみなせる。

新たな分散共分散行列は，対角成分がゼロになっているので，条件付ける変数 $y$ をうまく分離することができる。

あとは，式

において右辺を掛け算して係数比較すると，

が得られるので，条件付き分布の分散共分散行列を求めることができた。

ここまでくれば，あと一息である。多変量正規分布のexpの中身に注目すると，

という関係になっているので，先に提示した変数変換行列を用いると，

なので，条件付き分布の平均を求めることができた。

jiku log