統計検定１級に近年出題率が上がり難易度も上がっている回帰分析を１つの単独の科目として学習することにしました。使用するテキストは学習漏れが少なく特に数学的な（と言うより行列構造）理解を深めることができる『線形回帰分析』を用いた学習をしていきます。
数学付録
行列とベクトルの微分
詳しくは別記事にも類似内容を書いています。
跡traceの定義と性質
trの内部の行列は（２つの行列の積演算が定義されていれば）交換可能。ただし３つ以上の行列の場合は行列の塊を作ってその塊で（つまり２つの行列の積と見て）交換していけば変形として安全です。つまりランダムに交換ができないことには要注意です。
正規確率変数の２次形式の分布
ここは内容が重たいので、一般逆行列が入る前と後で２つに分けます。まずは行列Aがフルランクの場合です。
重回帰モデルのパラメータ推定と説明力
また次の内容も逆行列の存在を主張するものとして頻出ですので証明の流れをおさえておきたいところです。
重回帰モデル
ムーア・ペンローズ型一般逆行列の扱いに慣れていないと大変混乱する内容ですが、統計検定１級に確実に受かるためには避けて通れません。２段階のステップを踏んで攻略したいと思います。
ここら辺の話題は普通の線形代数では習いません。不安な方は下記の本（とてもわかりやすく書かれています！）を参照しながら頑張りましょう！
それではこれらの性質を用いて次の問題に取り組みましょう！
未知パラメータの推定-最小２乗法
Xが正方行列のときは決定係数が１になり線形モデルは過学習を起こしています。
最小２乗残差の性質
母分散の推定
ベータハットの共分散行列の推定
この問題の（４）のラストで独立性をサラッと書いていますが、統計検定１級にそこを突っ込まれるかも知れませんので補強しておきます。ここで用いる補題は久保川先生の下記の本に載っておりますのでヒントとして活用させていただきます。
まずは最も単純なパターンを証明します。
次に分散が定数倍されたものを証明します。先ほどの結論を用います。
これらの定理を重回帰モデルに適用します。
最後にt分布の学習で登場した正規母集団からの標本において標本平均と標本分散（不偏分散でも良い）が独立であることをヘルマート行列を用いずに証明してみます。またt分布関連の内容もここで復習しておきます。
未知パラメータの推定-最尤法
偏回帰係数推定量の意味
この問題の最後は本質的にFWL定理と同一です。本問では代数アプローチ（ブロック行列）で考えましたが、FWL定理（射影行列を考える幾何アプローチ）では残差生成行列や射影行列を左からかけて残差同士として考えさせます。
ダミー変数
テキストの例題はレベルが高いので、まずは文章からモデル化をするための訓練を10個してみます。
それでは準備が整ったのでテキストの内容に戻ります。
最後の問題でFWL定理を使っています。
モデルの説明力
ここの内容は今までの中で最もボリューミーな箇所になります。
今までの問題もそうでしたがこの公式知っているとクラメールの公式に帰着できて大変便利です。
公式の覚え方は次のようになります。アクチュアリー数学などで使えそうですね。
パラメータ推定量の特性
今までで最もボリュームのある節です。以前の量をまた更新してきました！笑
非常に細々とした注意事項が多い問題ですので以下に補足を書きます。
最後のあたりは全部書くと絶対に時間切れになりますので判断の目安を掲載します。
最尤推定量MLEの特性
最後のところは期待値の極限が真値になるつまり漸近不偏性と分散が０に収束するならば一致性を持ちます。これはチェビシェフの不等式からj保証されます。
多重共線性
重回帰モデルにおける仮設検定と予測
βの第j成分＝0の検定
最後の問題はt分布の自由度が大きくなると標準正規分布に近づくことを使っていますね！
βに関する線形制約の検定
βのどの成分の不偏推定量も同一の値で代用できます。ヒントは残差平方和です。
σ^2に関する仮説検定
σ^2の信頼区間
予測と予想区間
デルタ法（前編）
多変量のテイラー展開が出てきます。データサイエンスエキスパート試験にて頻出な分野ですので下記記事にまとめています。
その他の注意点
単純回帰モデルのパラメータ推定
正規線形回帰モデルの諸仮定
単回帰モデルのことを単純回帰モデルとも言うそうです。
パラメータ推定
（３）の途中計算でクロス項は０にはなりません！
最尤法によるα、βおよびσ^2の推定
αハットとβハットの特性
不均一分散
一般化最小２乗法（GLS）
自己相関
１階の自己回帰過程AR(1)
OLSの結果
終盤のQの分子がカイ２乗分布に従うことの必要十分条件が難所です。
自己相関AR(1)の検定
ダービン・ワトソン検定とその問題点
パラメータ推定-一般化最小２乗法
以上で本テキスト『線形回帰分析』を用いた統計検定１級対策を終了します。
