「自然科学の統計学」を読む　～第2章線形モデルと最小二乗法 ③標本分布と検定～

はじめに

東京大学教養学部統計学教室編「自然科学の統計学」は，1992年発行のやや古典的な文献であるが，自然科学に関わる統計学的テーマが簡潔にまとめられている。数理統計学の復習も兼ねて，本書を読むこととした。
ただ，基本的なことは他書で学んできたのと，本書自体がかなり細かく説明されているので，本書内の内容や数式を細かく追うというより，実務や統計検定の受験において有用そうなことを選んでまとめてみたい。

本記事は，「第2章線形モデルと最小二乗法」における，標本分布と検定に関する読書メモである。

2.4 誤差分散σ^2の推定

本節では，誤差項 $\varepsilon$ の分散である，誤差分散 $\sigma^2$ を推定する手順について説明している。

誤差分散の推定(不偏推定量の算出)は，残差平方和 $S(\mathbfit{\hat{\theta}}) = (\mathbfit{y} - \mathbfit{X} \mathbfit{\hat{\theta}})^T (\mathbfit{y} - \mathbfit{X} \mathbfit{\hat{\theta}})$ の期待値を用いる。この証明手順では，

残差平方和はスカラー量であるので， $E(S(\mathbfit{\hat{\theta}})) = E(tr(S(\mathbfit{\hat{\theta}})))$ と変形する。
トレースの公式 $tr(AB) = tr(BA)$ を用いる。
「対角行列のトレースは，対角成分の和」を用いる。

という手順で証明できる。

なお誤差分散の不偏推定量は， $\mathbfit{X}$ のランクを $q$ として，

$\begin{align} \hat{\sigma}^2 = S(\mathbfit{\hat{\theta}})/(n - q) = S(\mathbfit{\hat{\theta}}) / \nu_e \\ \\ \end{align}$

と表される。なお $\nu_e = n - q$ は自由度と呼ばれる。

$q$ は $\mathbfit{X}$ のランクであるので， $\mathbfit{X}$ がランク落ちしていないとき $q$ は回帰係数の数(たとえば単回帰であれば，「切片」と「傾き」の2個)となる。
一歩でランク落ちしているとき，たとえば全て同じ値が観測されているような列があるときは， $q$ は $\mathbfit{X}$ の列数よりも小さくなる。

2.5 正規線形モデルと標本分布

本節では，線形モデル $\mathbfit{y} = \mathbfit{X} \mathbfit{\theta} + \mathbfit{\varepsilon}$ の誤差項 $\mathbfit{\varepsilon}$ が正規分布にしたがうとき，

最小二乗推定量の標本分布 (正規分布)
残差平方和の標本分布 (カイ2乗分布)

について説明している。

それぞれの標本分布については，以下の過去記事にまとめた。

また，残差平方和の標本分布を扱う際には，正準形についても理解しておくと便利である。

stern-bow.hatenablog.com

2.6 線形仮説の検定

本節では，正規線形モデルの母数に関する検定問題について説明している。

正規線形モデルに関する検定問題としては，帰無仮説 $H_0$ を

線形回帰モデルにおいて，ある回帰係数が0である( $H_0 : \beta_i = 0$ )
線形回帰モデルにおいて，ある回帰係数群が定数である( $H_0 : E(\mathbfit{y}) = \mathbfit{X}_0 \mathbfit{\beta}_0$ )

とする検定問題が代表的で，前者はt検定，後者はF検定となる。

t検定もF検定も，一般化すると

$\begin{align} H_0 : \mathbfit{K} \mathbfit{\theta} = \mathbfit{0} \\ \\ \end{align}$

という形になり，これは線形仮説と呼ばれる。

F検定の詳細については，以下の過去記事にまとめた。

stern-bow.hatenablog.com

帰無仮説 $H_0$ が成り立たない場合，対立仮説 $H_1$ のもと非心分布を考えることになる。非心F分布については，以下の過去記事にまとめた。
stern-bow.hatenablog.com

まとめと感想

今回は，「第2章線形モデルと最小二乗法」における，標本分布と検定についてまとめた。

統計検定1級の学習においても，誤差分散の推定から標本分布，さらに検定の展開は避けて通れない重要部分である。書籍で改めて整理してみると，日常的に使っているt検定やF検定も，背後には残差平方和の分布や自由度の扱いといった基礎的な議論が支えていることがよく理解できた。

特に，線形仮説を一般形で表現する視点は，実務でも強く意識すべき点である。製造業の品質評価や実験計画法の文脈では，単に「ある係数が有意かどうか」ではなく，「工程条件全体が規格を満たすか」といった複数パラメータの検定が必要になる。その際，線形仮説の枠組みで整理しておくと，統計的検定の設計や解釈がぶれなくなる。

また，自由度や非心分布の概念は，実務のデータ解析においてはやや抽象的に感じられるかもしれない。しかし，サンプル数が限られた場面や，モデルの過剰な複雑化を防ぐ観点では，それらを正しく理解しておくことが解析の信頼性につながると改めて感じた。

本記事を最後まで読んでくださり，どうもありがとうございました。