統計検定1級過去問解説：2024年統計数理問1 #統計検定

はじめに

本記事では，2024年の統計検定1級統計数理の問1についてまとめてみた。

[1]

解説

線形回帰モデルの回帰係数を求めるにあたり，その前段である尤度関数を求める問題で，参考書の練習問題にもなるような基本問題である。

題意に沿って，尤度関数を求める。

尤度関数には確率分布が必要だが，誤差項が正規分布に従うことを用いる。

解答例

$\begin{align} Y_i = \beta x_i + \varepsilon _i, \quad \varepsilon _i \sim \mathcal{N}(0, \sigma^2) \end{align}$

より，確率変数 $Y_i$ の確率密度関数は，

$\begin{align} f(y) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{ (y - \beta x_i)^2 }{2 \sigma^2} \right) \end{align}$

確率変数 $(Y_1, ..., Y_n)$ の実現値 $(y_1, ..., y_n)$ にもとづく尤度 $L(\beta)$ は

$\begin{align} L(\beta) &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{ (y_i - \beta x_i)^2 }{2 \sigma^2} \right) \\ &= (2 \pi \sigma^2)^{-n/2} \exp \left( -\frac{ 1 }{2 \sigma^2} \sum_{i=1}^{n} (y_i - \beta x_i)^2 \right) \\ \end{align}$

となる。よって，対数尤度 $l(\beta) = \log L(\beta)$ は，

$\begin{align} l(\beta) = -\frac{n}{2} \log \left( 2 \pi \sigma^2 \right) -\frac{1 }{2 \sigma^2} \sum_{i=1}^{n} (y_i - \beta x_i)^2 \\ \end{align}$

が得られる。 $\blacksquare$

[2]

解説

最尤推定量とその期待値を求める問題である。

最尤推定量は，尤度(または対数尤度)の最大値を取るようなパラメータの値であるので，対数尤度をパラメータで微分したものを0とした尤度方程式を解けばよい。

「不偏推定量であること」を示すには， $E [ \hat{\beta}_{ML} ] = \beta$ であることを示せばよい。最尤推定量の期待値を求めるためには，最尤推定量がしたがう確率分布を考えればよい。

解答例

最尤推定量は，

$\begin{align} \frac{ \partial }{\partial \beta} l(\beta) = 0 \\ \end{align}$

を満たす。よって，

$\begin{align} \frac{ \partial }{\partial \beta} l(\beta) &= 0 \\ &\Rightarrow -\frac{1 }{2 \sigma^2} \sum_{i=1}^{n} 2 ( \beta x_i^2 - x_i Y_i) = 0 \\ &\therefore \hat{\beta}_{ML} = \frac{ \sum_{i=1}^{n} x_i Y_i }{ \sum_{i=1}^{n} x_i^2 } \\ \end{align}$

となる。 $\blacksquare$

また， $Y_i \sim \mathcal{N} (\beta x_i, \sigma^2)$ より， $E[ Y_i ] = \beta x_i$ なので，

$\begin{align} E[ \hat{\beta}_{ML} ] = \frac{ \sum_{i=1}^{n} x_i E[ Y_i ] }{ \sum_{i=1}^{n} x_i^2 } = \frac{ \sum_{i=1}^{n} x_i^2 \beta }{ \sum_{i=1}^{n} x_i^2 } = \beta \end{align}$

が得られる。 $\blacksquare$

[3]

解説

フィッシャー情報量およびクラメール・ラオの下限を求める問題である。

フィッシャー情報量は，

$\begin{align} I_n(\beta) = E \left[ - \frac{\partial^2}{\partial \beta^2} l(\beta) \right] \end{align}$

で求められる。

期待値を計算する際には，「何が確率変数であるか」ということに注意するする必要がある。本問においては，目的変数 $Y_i$ が確率変数であり，説明変数 $x_i$ は固定値である，ということに注意する必要がある。

最後に，クラメール・ラオの下限は，フィッシャー情報量の逆数 $1/I_n(\beta)$ で得られる。

解答例

$\begin{align} \frac{\partial^2}{\partial \beta^2} l(\beta) = -\frac{1 }{2 \sigma^2} \sum_{i=1}^{n} 2 x_i^2 = -\frac{1 }{\sigma^2} \sum_{i=1}^{n} x_i^2 \\ \end{align}$

となり，これは固定値となる。

よってフィッシャー情報量は，

$\begin{align} I_n(\beta) = E \left[ - \frac{\partial^2}{\partial \beta^2} l(\beta) \right] = \frac{1 }{\sigma^2} \sum_{i=1}^{n} x_i^2 \end{align}$

となる。 $\blacksquare$

また，クラメール・ラオの下限はフィッシャー情報量の逆数となるので，クラメール・ラオの下限は，

$\begin{align} \frac{1}{I_n(\beta)} = \frac{\sigma^2 }{\sum_{i=1}^{n} x_i^2} \\ \end{align}$

となる。 $\blacksquare$

[4]

解説

回帰係数の不偏推定量を求める問題である。

この問題も，目的変数 $Y_i$ の確率密度関数を用いて， $\beta$ の推定値の平均・分散を計算すればよい。

解答例

$S = \sum_{i=1}^{n} x_i$ および $\bar{Y} = \frac{1}{n} \sum_{i=1}^{n} Y_i$ とおく。
$Y_i \sim \mathcal{N}(\beta x_i, \sigma^2)$ より， $E[Y_i] = \beta x_i$ ， $V[ Y_i ] = \sigma^2$ なので，

$\begin{align} E[ \tilde{\beta} ] &= E \left[ \frac{n \bar{Y}}{S} \right] = \frac{1}{S} \sum_{i=1}^{n} E[ Y_i] \\ &= \frac{1}{S} \sum_{i=1}^{n} \beta x_i = \beta \end{align}$

となる。 $\blacksquare$
また，

$\begin{align} V[ \tilde{\beta} ] &= V \left[ \frac{n \bar{Y}}{S} \right] = \left( \frac{1}{S} \right)^2 \sum_{i=1}^{n} V[ Y_i] \\ &= \left( \frac{1}{S} \right)^2 n \sigma^2 = \frac{n \sigma^2}{ \left( \sum_{i=1}^{n} x_i \right)^2 } \end{align}$

となる。 $\blacksquare$

[5]

解説

最尤推定量による検定と，その他の検定における，検出力を比較する問題である。

検出力

検出力とは，棄却域 $R$ に入る確率 $P(X \in R)$ である。たとえば片側検定の場合，統計検定量 $T$ について， $T > c$ が棄却域となる。

本問では，検出力の定義を理解して使いこなせるか，ということが問われている。

最尤推定量の分散

最尤推定量の分散 $\hat{\sigma}^2 = V [ \hat{\beta}_{ML} ]$ を計算してみると，これはクラメール・ラオの下限となるので，不偏推定量の中で分散が最小となる。

※なお，イェンセンの不等式を用いれば， $\hat{\sigma}$ と $\tilde{\sigma}$ の大小比較をすることができる。

解答例

検定問題を，帰無仮説 $H_0 : \beta = 0$ ，対立仮説 $H_1 : \beta = \beta_1 (\beta_1 \gt 0)$ と書き換える。
また，標準正規分布の累積分布関数を $\Phi(z)$ ，標準正規分布の上側 $100\alpha$ %点を $z_{\alpha}$ とする。

まず， $\hat{\beta}_{ML}$ を検定統計量として用いた検定を考える。 $Y_i$ は正規分布にしたがうので，その線形和である $\hat{\beta}_{ML}$ も正規分布にしたがう。そこで，

$\begin{align} \hat{\beta}_{ML} \sim \mathcal{N}(\beta, \hat{\sigma}^2) \end{align}$

とおく。

$\begin{align} \hat{\beta}_{ML} = \frac{ \sum_{i=1}^{n} x_i Y_i }{ \sum_{i=1}^{n} x_i^2 } \\ \end{align}$

であり， $V [ Y_i ] = \sigma^2$ なので，

$\begin{align} \hat{\sigma}^2 = V [ \hat{\beta}_{ML} ] = \frac{\sigma^2 }{\sum_{i=1}^{n} x_i^2} \\ \end{align}$

でとなる。これは[3]で求めたクラメール・ラオの下限になるので $\hat{\sigma}^2$ は不偏推定量の分散の中で最も小さい値になる。

この検定問題の棄却域を $\hat{\beta}_{ML} \gt c_{ML}$ とおくと，有意水準が $\alpha$ なので，帰無仮説 $H_0$ のもと，

$\begin{align} P(\hat{\beta}_{ML} \gt c_{ML}) | \beta = 0) &= P \left( \frac{\hat{\beta}_{ML} - 0}{\hat{\sigma}} \gt \frac{c_{ML} - 0}{\hat{\sigma}} \right) \\ \\ &= \Phi \left( z \gt \frac{c_{ML}}{\hat{\sigma}} \right) = \alpha \\ \end{align}$

となるので， $c_{ML} / \hat{\sigma} = z_{\alpha}$ となる。

検出力は検定統計量が棄却域に入る確率なので，対立仮説 $H_1$ のもと検出力は，

$\begin{align} P(\hat{\beta}_{ML} \gt c_{ML}) | \beta = \beta_1) &= P \left( \frac{\hat{\beta}_{ML} - \beta_1}{\hat{\sigma}} \gt \frac{c_{ML} - \beta_1}{\hat{\sigma}} \right) \\ \\ &= \Phi \left( z \gt z_{\alpha} - \frac{\beta_1}{\hat{\sigma}} \right) \\ \end{align}$

となる。

次に， $\tilde{\beta}$ を検定統計量として用いた検定を考える。 $Y_i$ は正規分布にしたがうので，その線形和である $\tilde{\beta}$ も正規分布にしたがう。そこで

$\begin{align} \tilde{\beta} \sim \mathcal{N}(\beta, \tilde{\sigma}^2) \end{align}$

とおく。

この検定問題の棄却域を $\tilde{\beta} \gt \tilde{c}$ とおく。 $\hat{\beta}_{ML}$ を用いた検定と同様に考えると，対立仮説 $H_1$ のもと検出力は，

$\begin{align} P(\tilde{\beta} \gt \tilde{c}) | \beta = \beta_1) &= P \left( \frac{\tilde{\beta} - \beta_1}{\tilde{\sigma}} \gt z_{\alpha} - \frac{\beta_1}{\tilde{\sigma}} \right) \\ \\ &= \Phi \left( z \gt z_{\alpha} - \frac{\beta_1}{\tilde{\sigma}} \right) \\ \end{align}$

となる。

ここで， $\hat{\sigma}^2$ はクラメール・ラオの下限を満たすので， $\hat{\sigma} \leq \tilde{\sigma}$ (なお， $\hat{\sigma} , \tilde{\sigma} \gt 0$ )となる。したがって，

$\begin{align} \hat{\sigma} \leq \tilde{\sigma} & \Leftrightarrow z_{\alpha} - \frac{\beta_1}{\hat{\sigma}} \leq z_{\alpha} - \frac{\beta_1}{\tilde{\sigma}} \\ \\ & \Leftrightarrow \Phi \left( z \gt z_{\alpha} - \frac{\beta_1}{\hat{\sigma}} \right) \geq \Phi \left( z \gt z_{\alpha} - \frac{\beta_1}{\tilde{\sigma}} \right) \\ \\ & \Leftrightarrow P(\hat{\beta}_{ML} \gt c_{ML}) | \beta = \beta_1) \geq P(\tilde{\beta} \gt \tilde{c}) | \beta = \beta_1) \\ \end{align}$

となるので， $\hat{\beta}_{ML}$ を用いた検定の方が， $\tilde{\beta}$ を用いた検定よりも，検出力が大きい。