統計検定１級の統計応用理工学の学習において、確率過程は狙われやすい分野です。本分野はアクチュアリー数学の試験範囲とも被っているので、そちらも受験される方はとても学習効率の良い分野となります。
本記事では確率過程の内容を大きく４つに分類しました。またそれぞれの内容において学習に最適なテキストが２冊あり、そちらをベースにした学習をしていきます。
マルコフ連鎖とポアソン過程は『確率過程の基礎』
ランダム・ウォークとブラウン運動は『入門確率過程』
本記事ではやはり典型パターンの多いマルコフ連鎖がメインとなります。学習順序も考えて、マルコフ連鎖→ランダム・ウォーク→ポアソン過程→ブラウン運動と進めていきます。
マルコフ連鎖
統計検定１級の統計応用理工学対策として1.6までを学習します。以降は極めて出題される可能性が低いと考えるためです。
定義と例
ギャンブラーの破産問題
エーレンフェスト連鎖
最初は左の箱に０個入っているとします。
気象連鎖
次の２つの性質を満たす行列は推移確率行列です
たとえば次の推移確率行列は天気の状態１〜３までの状態が次の日（次にカウントするとき）にどういう状態になっているか？を各成分で示した行列になっています。
修理連鎖
在庫連鎖
分岐状態
分岐過程をガルトン・ワトソン過程ともいいます。
以下が具体的な例題です。基本的にはs＝G(s)を解いて最小解を記述するだけです。この例題では状態空間が有限なので確率母関数も有限和になります。
ライト・フィッシャーモデル
定常状態になる十分条件は規約性と非周期性を持つ場合で、このようなマルコフ過程をエルゴード的であるといいます。
所得の分類
ここでは例が特殊すぎるので一般的に考えました。原題では所得が低、中、高の３状態で考えています。また、本問題のポイントは推移確率行列からエルゴード性を判断することです。
すべての成分が正（Pが正行列）ならば定常状態を持ちます。つまり全ての成分が正であることはエルゴード性を持つための十分条件です。
今までの問題を通して得た知見をまとめます。本書には載っていませんが独自でPの固有値などの性質を整理してみました。
推移確率
ここでは気象連鎖の例を用いてチャップマン・コルモゴロフ方程式を導き、状態iからmステップで状態jに推移する確率が推移確率行列のm乗から求められることを示します。
気象連鎖
類題としてギャンブラーの破産問題を再度考えます。
ギャンブラーの破産問題
以前の破産問題の設定でn＝４とすると、一旦金額が０や４になったらそれ以降は動けなくなる吸収状態になります。また、所持金の移動は偶奇の移動に注意します。すなわち周期性が生じています。
状態の分類
ギャンブラーの破産問題
ここで次の定理を示しておきます。自明に見えますが証明にはチャップマン・コルモゴロフの方程式（C-K方程式）を用います
気象連鎖
７状態連鎖
極限の挙動
厳密には待遇を考えて極限が正の値に収束するならば再帰的です。しかしその逆は成立するとは限りません。
エーレンフェスト連鎖
合計３個のボールが入った２つの箱があり、１個のボールをランダムに取り出し、その箱から他方の箱に移します。n回後の左の箱にあるボールの数をX_nとします。ただし最初は左の箱に０個あるとします。この時に「すべての状態が再帰的ではあるが周期性のせいでp^nが収束しない（振動する）特殊な例」としてこの例題を考えます。
この問題で非対角成分において、状態０から状態３が３回の施行で行き来できるため、以下の解答では場合分けが生じています。
次の問題に移る前に再帰的という言葉の内容を細分化しておきます。
以前に登場した、状態空間が有限で既約なマルコフ連鎖は再帰的とありましたが、厳密には正再帰的ですね！
| 分類 | 確率1で戻るか？ P(Ti<∞)=1 | 平均時間 E[Ti] | 定常分布 πi の存在 | 有限状態空間での存在 |
| 正再帰的 | ○ | 有限 | 存在する (π_i > 0) | 存在する |
| 零再帰的 | ○ | 無限大 | 存在しない (π_i = 0) | 存在しない |
| 非再帰的（Transient） | × | 無限大 | 存在しない | 条件次第で存在する |
修理連鎖
定常分布は割合のことです。例えば１時間の中で特例のゴンドラが一番下にいる時間の割合は一定で1/12です。このゴンドラが一番下にくるタイミングは周期的に振動して極限は存在しませんが、割合（定常分布）は存在します。
非周期性の問題（気象連鎖）
遷移図に三角形と四角形が出てくる問題
数学者の見た悪い夢
反射壁をもつ１次元対称ランダムウォーク
気象連鎖
有限状態空間上のマルコフ連鎖には少なくとも１つの定常分布が存在します。
推移確率行列pに関して列に関しても和が１になる場合を二重確率的といいます。
N状態のマルコフ連鎖の推移確率行列pが二重確率的であるとき、定常分布は一様分布になります。
これは面白いですね！問題文からpを考えてみて行と列の和がともに１になっていれば定常分布は状態空間Sを見ただけで一様分布がわかってしまうのですね！
マルコフ連鎖の収束定理とは、既約、非周期的の2つの条件を満たすマルコフ連鎖が、初期状態に関わらず一意の定常分布へ収束することを保証する定理です。また既約の場合はどの状態の周期も共通（周期の共通性）です。
特別な例
円環上の最近接ランダムウォーク
気象連鎖と詳細つりあいの条件
エーレンフェスト連鎖と可逆性
出生死亡連鎖
２次元ランダムウォークとグラフ理論
１ステップによる計算
破産の確率とルーレット問題
吸収状態を考慮した公正なゲームにおける到達時間の期待値
吸収状態を考慮した非公正なゲームにおける到達時間の期待値
コイン投げの待ち時間（期待値の漸化式）
Xでは（２）の別解を投稿しました。
ペニーのパラドックス
リーチをかけられたら絶対に負けます
ランダム・ウォーク
統計検定１級理工学対策として最後の6.6以外を学習していきます。
単純ランダム・ウォーク
一般的なランダム・ウォーク
マルチンゲールの考え方
ギャンブラーの破産問題
原点復帰の確率
~ ：「無限にnを無限に大きくしていくと、理論上ぴったり一致していくよ」という関数の極限の記号。
≈ / ≒ ：「具象的な数字を計算したら、だいたいこんな数になったよ」という数値計算の四捨五入の記号。
ポアソン過程
3.6は統計検定１級理工学の対策では重要度は低いと思われるため今回はカットします。
指数分布
指数的競争
ポアソン過程の定義（２つのうち直感的方法）
ポアソン分布の基本的性質
ポアソン過程の定義（有名版）
ポアソン過程の定義と指数分布の無記憶性とポアソン分布の再生性の関係
ル・カムの不等式（ポアソン分布との差に関する不等式）など
非一様ポアソン過程
強度が時間に依存せず一定であるものを斉次ポアソン過程と言います。つまり今まで扱ってきたタイプです。
複合ポアソン過程
シンニングとスーパーポジション
ポアソン過程と条件つき確率
このテーマは、「ポアソン過程の発生数を固定したとき、事象の発生時刻は一様分布の順序統計量に従う」という確率過程の極めて重要かつ頻出の性質を扱っています。
ブラウン運動
マルチンゲールは今回は後回しにします。統計検定１級理工学対策として上の章では8.1 , 8.2 , 8.11を学習します。
時間の連続化
ブラウン運動は連続版のランダム・ウォークのことであり、ウィーナー過程とも言われます。
tにおける標準ブラウン運動の確率分布はN(0,t)であり、ドリフト（μ）、分散パラメータ（ゆらぎパラメータとも言う）（σ^2）がある場合の確率分布はN(μt,σ^2 t)です。σはボラティリティや比例定数などと言われます。
時間tが経つほどランダムな揺らぎ（ランダムウォークの歩数）が積み重なるため、確率密度関数の山が横に大きく広がり、「どこにいるか分からない（不確実性が高まる）」 状態になるわけです。物理の言葉で例えるなら、μは「一定の平均速度（等速直線運動のイメージ）」ですね。
ブラウン運動の定義
ポアソン過程（復習）
ポアソン過程とブラウン運動は似ていますが、これはレヴィ過程の一種であるためです。レヴィ過程は独立増分性、定常増分性、確率連続性を満たす連続時間確率過程です。また、ポアソン過程ではk回目のイベントが起きる時刻はガンマ分布に従います。ブラウン運動では位置がaに初めて達する時刻が逆正規分布に従います。
逆正規分布?!
