jiku log

データサイエンスの核心を掴む : 学びと発見の記録

「入門確率過程」を読む　～第7章極限定理の基礎 ③いろいろな収束の種類～

数理統計学

はじめに

確率過程は数理統計学の応用分野であり，製造業で扱う時系列データ解析ともかかわりがある。松原望編著・山中卓・小船幹生著「改訂版入門確率過程」は，確率過程に関する入門書としてロングセラーである。確率過程の基礎と応用を学ぶために，本書を読むこととした。

本記事は，「第7章極限定理の基礎」における，確率に関数各種の収束に関する読書メモである。

目次

はじめに
- 目次
7.5 いろいろな収束の種類
- 各種の収束
7.6 レビュー : 強い収束と弱い収束
まとめと感想
- 参考サイト

7.5 いろいろな収束の種類

前節まででは，事象の集合や確率について説明していた。特に無限和を扱えるように，コルモゴロフの定義を導入した。
本節では，これらから発展して，収束や極限について扱っている。

各種の収束

本節では，確率に関する以下の4つの収束を説明している。

a. 概収束(a.s.) convergence with probability 1
b. 確率収束(p) convergence in probability
c. 平均収束( $L_2$ etc. ) convergence in the mean
d. 法則収束( $\mathcal{L}, d$ ) convergence in law

概収束

確率変数の列 $X_1, X_2, X_3, \cdots$ が $X$ に「概収束」する，「確率1で収束」するとは，

$\begin{align} P \left( \lim_{n \rightarrow \infty} X_n = X \right) = 1 \end{align}$

であることをいう。

概収束について別の表現として

ほとんど確実に収束する
確率1で収束する
ほとんど至る所収束する

といったものが挙げられる。

この「ほとんど」とは，「理論上事象として起こることは禁止されないが，起こる確率は0である決して観測されない事象を無視する」ということを意味する。

たとえばコインを無限回投げて，常に表が出る(この確率は $1/2$ )ような事象は，理論上可能であるが，その確率は $(1/2)^n \rightarrow 0$ なので，このような例は観測されない。

確率収束

確率変数の列 $X_1, X_2, X_3, \cdots$ が $X$ に「確率収束」するとは，どれほど小さい $\varepsilon \gt 0$ に対しても

$\begin{align} \lim_{n \rightarrow \infty} P(\lvert X_n - X \rvert \lt \varepsilon) =1 \\ \end{align}$

または

$\begin{align} \lim_{n \rightarrow \infty} P(\lvert X_n - X \rvert \gt \varepsilon) =0 \\ \\ \end{align}$

であることをいう。

これは， $X_1, X_2, X_3, \cdots$ の列自体が収束することは要求せず，「確率」が収束すればよい。
確率は頻度データから観察されるので，応用上も使いやすい。

平均収束

収束を「近さ」でとらえ，近さとして $\lvert \cdot \rvert ^p$ という距離で評価するのが平均収束である。

確率変数の列 $X_1, X_2, X_3, \cdots$ が $X$ に「 $p$ 次平均収束」するとは，実数 $p \gt 0$ に対して

$\begin{align} \lim_{n \rightarrow \infty} E(\lvert X_n - X \rvert ^p ) =0 \\ \\ \end{align}$

であることをいう。

法則収束

法則収束は，確率分布(実際は累積分布関数)の収束である。すなわち，累積分布関数 $F_1(X), F_2(X), F_3(X),\cdots$ が累積分布関数 $F(X)$ に， $x$ の連続店で，

$\begin{align} \lim_{n \rightarrow \infty} F_n(x) = F(x) \\ \\ \end{align}$

であることをいう。
法則収束は，必ずしも確率変数の収束ではなく，関数 $F_n(x)$ の収束である。

7.6 レビュー : 強い収束と弱い収束

4つの収束の間には関係がある。

(i) 概収束(a)するならば，確率収束(b)する。
(ii) 平均収束(c)するならば，確率収束(b)する。
(iii) 確率収束(b)するならば，法則収束(d)する。

まとめと感想

今回は，「第7章極限定理の基礎」におけるいろいろな収束についてまとめた。

確率過程を理解するうえで，これら4つの収束を区別して整理することは非常に重要であると考えられる。

製造業のデータサイエンティストの立場から見ると，この章の内容はモデルの安定性や推定の一貫性を議論する際の理論的基盤になる。
たとえば，

センサデータの長期平均値が安定する (→確率収束)
推定した異常検知モデルの誤差が減少する (→平均収束)
生産ラインの揺らぎが特定の分布に近づく (→法則収束)

といった具体的な現象を，数学的に整理することができる。

この後の章で，ブラウン運動やマルチンゲールについて詳細に書かれていると考えられるが，収束の議論をする際には，その収束を考えているか意識していきたい。

本記事を最後まで読んでくださり，どうもありがとうございました。

参考サイト

ランキング参加中