「自然科学の統計学」を読む　～第8章質的データの統計分析 ②多変量モデルの漸近分布～

はじめに

東京大学教養学部統計学教室編「自然科学の統計学」は，1992年発行のやや古典的な文献であるが，自然科学に関わる統計学的テーマが簡潔にまとめられている。数理統計学の復習も兼ねて，本書を読むこととした。
ただ，基本的なことは他書で学んできたのと，本書自体がかなり細かく説明されているので，本書内の内容や数式を細かく追うというより，実務や統計検定の受験において有用そうなことを選んでまとめてみたい。

本記事は，「第8章質的データの統計分析」における，多変量モデルの漸近分布に関する読書メモである。

8.4 説明変数が2個以上の場合

前節までは，プロビット・モデルもロジット・モデルも2変量の場合を扱っていた。本節では，多変量の場合を扱う。パラメータの推定量の漸近分布についても論じている。

多変量モデル

プロビット・モデルまたはロジット・モデルで扱う累積分布関数を $F$ とする。すなわち，プロビット・モデルの場合は標準正規分布の累積分布関数，ロジット・モデルの場合はロジスティック分布の累積分布関数である。
このとき， $Y_1 = 1$ となる確率は $F(\boldsymbol{X}_i^T \boldsymbol{\beta})$ となる。ただし，

$\begin{align} \boldsymbol{X}_i = [ 1, X_{1i}, ..., X_{pi} ]^T \in \mathbb{R}^{p + 1}, \quad \boldsymbol{\beta} = [ \beta_0, \beta_1, ..., \beta_p ]^T \in \mathbb{R}^{p + 1} \\ \\ \end{align}$

である。

したがって，尤度関数は

$\begin{align} L(\boldsymbol{\beta}) &= \prod_{i=1}^n F(\boldsymbol{X}_i^T \boldsymbol{\beta})^{Y_i} (1- F(\boldsymbol{X}_i^T \boldsymbol{\beta}))^{1 - Y_i} \\ \\ &\equiv \prod_{i=1}^n F_i^{Y_i} (1 - F_i)^{1 - Y_i} \\ \\ \end{align}$

となる。

パラメータの漸近分布

プロビット・モデルおよびロジット・モデルにおいて，パラメータ $\boldsymbol{\beta}$ は最尤法で求めるが，解析的には解けないので，数値計算で求めることになる。
数値計算によって求めた最尤推定量 $\boldsymbol{\hat{\beta}}$ について，漸近分布は，

$\begin{align} \sqrt{n} (\boldsymbol{\hat{\beta}} - \boldsymbol{\beta}) \rightarrow_d \mathcal{N}(\boldsymbol{0}, \boldsymbol{I}(\boldsymbol{\beta})^{-1}) \\ \\ \end{align}$

となる。ただし $\boldsymbol{I}(\boldsymbol{\beta})$ は，フィッシャー情報行列である。

漸近分布を求めるために，フィッシャー情報行列を求める。

対数尤度関数

対数尤度関数は，

$\begin{align} \log L(\boldsymbol{\beta}) = \sum_{i=1}^n Y_i \log F_i + (1 - Y_i) \log (1 - F_i) \\ \\ \end{align}$

となる。

スコア関数

対数尤度関数の1階微分を考える。途中で連鎖律を使うので，先に $F_i = \boldsymbol{X}_i^T \boldsymbol{\beta} = \boldsymbol{\beta}^T \boldsymbol{X}_i^T$ の微分を求めると，

$\begin{align} \frac{ \partial F_i}{ \partial \boldsymbol{\beta}} = f_i \boldsymbol{X}_i \in \mathbb{R}^{p+1} \\ \\ \end{align}$

となる。ただし $f_i$ は， $F$ の1階微分，すなわち確率密度関数 $f$ について， $f_i = f(\boldsymbol{X}_i^T \boldsymbol{\beta} )$ とした。

これを用いると，対数尤度関数の1階微分は，

$\begin{align} U(\boldsymbol{\beta}) = \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} &= \sum_{i=1}^n \frac{Y_i}{F_i} f_i \boldsymbol{X}_i - \frac{1 - Y_i}{1 - F_i} f_i \boldsymbol{X}_i \\ \\ &= \sum_{i=1}^n (Y_i - F_i) \frac{f_i}{F_i (1 - F_i)} \boldsymbol{X}_i \\ \\ \end{align}$

となる。

スコア関数の期待値は， $E[ U(\boldsymbol{\beta}) ] = \boldsymbol{0}$ となる。

フィッシャー情報行列

フィッシャー情報行列は，

$\begin{align} \boldsymbol{I}(\boldsymbol{\beta}) &=V \left [ \left( \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} \right) \right ] \\ \\ &=E \left [ \left( \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} - E[ U(\boldsymbol{\beta}) ] \right) \left( \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} - E[ U(\boldsymbol{\beta}) ] \right)^T \right ] \end{align}$

である。

ただし，スコア関数が0なので，

$\begin{align} \boldsymbol{I}(\boldsymbol{\beta}) = E \left [ \left( \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} \right) \left( \frac{ \partial \log L(\boldsymbol{\beta})}{ \partial \boldsymbol{\beta}} \right)^T \right ] \end{align}$

となる。

ここで，この行列の要素について考える。スコア関数の式に着目すると，

$\begin{align} S_i = \begin{cases} f_i / F_i & (Y_i = 1) \\ \\ -f_i / (1 - F_i) & (Y_i = 0) \\ \\ \end{cases} \end{align}$

のように $S_i$ を定義すると，スコア関数の各要素は $S_i \boldsymbol{X}_i$ のように表される。

フィッシャー情報行列の各要素は $S_i^2$ であるが， $Y_i=1$ となる確率が $F_i$ ， $Y_i=0$ となる確率が $1 - F_i$ であることに着目すると，

$\begin{align} E [ S_i^2 ] = F_i \times \frac{f_i^2}{F_i^2} + (1-F_i) \times \frac{f_i^2}{(1 - F_i)^2} = \frac{f_i^2}{F_i (1 - F_i)} \\ \\ \end{align}$

となる。

よって，求めるフィッシャー情報行列は

$\begin{align} \boldsymbol{I}(\boldsymbol{\beta}) = \sum_{i=1}^n \frac{f_i^2}{F_i (1 - F_i)} \boldsymbol{X}_i \boldsymbol{X}_i^T \\ \\ \end{align}$

となる。

ロジット・モデルの場合

特にロジットモデルの場合，

$\begin{align} &F(z) = \frac{1}{1 + e^{-z}}, \quad f(z) = \frac{e^{-z}}{(1 + e^{-z})^2} \\ \\ &\therefore f = F(1-F) \\ \\ \end{align}$

であることから，フィッシャー情報行列はより簡潔に，

$\begin{align} \boldsymbol{I}(\boldsymbol{\beta}) = \sum_{i=1}^n F_i (1 - F_i) \boldsymbol{X}_i \boldsymbol{X}_i^T \\ \\ \end{align}$

と表せる。

まとめと感想

今回は，「第8章質的データの統計分析」における，多変量モデルの漸近分布についてまとめた。

前節で扱っていた2変量モデルと同様に，多変量モデルにおいてもパラメータ推定が重要になる。またそのパラメータの検定などを行なう場合には最尤推定量の漸近分布に着目すると便利であるが，その場合フィッシャー情報行列を求める必要がある。

プロビット・モデルとロジット・モデルの両方について確認するために，具体的な関数形を用いずに式展開を行なったが，フィッシャー情報行列に出てくる「2階微分の期待値」計算は，スコア関数の期待値は0であるという性質に着目すると，対数尤度関数の2階微分を計算しなくてもフィッシャー情報行列を計算できるという点が，計算上のポイントであった。

また，特にロジット・モデルの場合は，ロジスティック分布の累積分関数と確率密度関数の関係から，より簡潔な形で表せることも確認できた。

本記事を最後まで読んでくださり，どうもありがとうございました。