統計検定１級の統計数理対策として、久保川先生の白本と青本を勉強してきました。
しかし近年の統計検定１級では初見色が強い問題傾向が見られます。そのため合格者の方々から支持がある黒木先生の『数理統計学』をしっかりと学んでいきたいと思います。
頻度論統計学とベイズ統計学の違い
最尤法は、「データを定数とみなして θ を探す」というやり方自体はベイズに非常に近いですが、「θ は確率分布を持たない（事前分布もない）」ので、分類としては頻度論の仲間に入ります。
パラメータ推定法
ベイズ推定量
証明が複雑なので統計検定１級の大問の構成を意識した流れで証明を行います。
例12.1：正規分布におけるベイズ推論（事後分布の導出）
比例記号∝（proportionality symbol）は次のように書くと綺麗に書けます
例12.2：二項分布とベータ分布におけるベイズ推論
最大事後確率推定量
この最後の方の精度に関する性質は共役事前分布の組み合わせならば確実に成立します。MAP推定量が最尤推定量と事前平均の重み付き平均で表現され、その重みは最尤推定量や事前平均の精度となっています。
例12.3：正規-正規モデル
上の問題の（３）の主張です。つまり正規-正規モデルにおいてμ_xの最大事後確率推定量とベイズ推定量は一致します。
例12.4：ベータ二項モデルの最大事後確率推定量
予測分布
次の内容ではフビニの定理を用いています。こちらは被積分関数の絶対値が有限の場合に成り立ちます。また被積分関数が非負の場合（トネリの定理）です。確率密度の場合はトネリの定理が適用されます。
事前分布
ベイズ統計学の場合は、事前分布を設定しますが事前分布によっては事後分布が複雑になるため解析的に事後分布を求めることが困難になります。回避する方法としてMCMC法を用いることが多いです。一方でベイズ推定量を解析的に求めることを目的とする場合は共役事前分布を用います。
無情報事前分布
無情報事前分布には一様分布や非正則事前分布があります。一様分布を用いた時の問題点は、パラメータの定義域に関する問題があります。例えば正規分布の低異議行きは無限のため有限範囲の一様分布を事前分布に用いることは不適切です。そのため、確率分布の定義を持たない非正則事前分布を採用してその問題を回避します。
定義域で積分したときに積分値をもとない非負実数値関数を非正則な密度関数といい、ベイズ統計学では非正則な無情報事前分布として次の形のものが使われます。
ここで無情報事前分布の問題点を考えます。
ここで終盤の主張を証明しておきます。
例12.5：ジェフリーズの事前分布
ベイズ流の区間推定
使用テキストにはHPDの区間については＝が入っていないですが、含んでも含まなくてもどちらでも良いです。問題文に定義されている場合は当然、その定義に従ってください。
例12.6：最大事後密度区間＝等裾信用区間の例
統計検定１級でひょっとしたら出題されるかもしれない分散が未知の場合のパターンつまり、正規-逆ガンマモデルを考えました。
仮設検定的な考え方
いよいよ終盤です。ベイズファクターが本書のラスボス的な位置になりました。
演習問題
問題12.1：EAP推定量（事後期待値）
問題12.2：ベイズ予測分布
