本記事は僕の学習が進むにつれて適宜更新がされます。よろしくお願いします。
現在の僕の線形代数の実力は高校生の頃に数学検定１級に合格したときの線形代数の固有値計算などができる段階→東京大学大学院の入試を合格する程度の段階を経て→統計検定１級を突破するための線形代数の知識を入れている段階です。
具体的には次のレベルの参考書を順に遷移している感じです。それぞれ現時点（2026年8月）で最新の版を掲載しています。
ポチップ
受験数学までの内容の深掘り
統計検定１級で必要になる線形代数の内容をまとめます。使用する本はストラング先生の『教養の線形代数』です。手始めに受験数学でお馴染みの加法定理を行列表現（ベクトルを用いて）で導出してみます。
行列の積の別の見方
行列とベクトルの積、そして行列同士の積の見方を次のように考えます。
ランク１行列
ランク１行列という概念は大事になります。次の例はベクトルの外積演算についての法則です。
また形が正しければ同じベクトル同士でなくてもランク１行列になります。
正射影
正射影について考えます。受験数学である一定以上の難易度で出現する正射影の問題を多次元に拡張するとお馴染みの線形回帰の最小２乗法で求めた回帰係数の推定値ベクトルの式が出現します。
固有値と固有ベクトルの利用について考えます。
また正射影ベクトルについて固有値は０または１になります。
ちなみに射影ベクトルの固有値が１のときは射影した方向と同じ方向のベクトルをxとするときで、固有値が０のときは射影した方向と垂直な向きのベクトルをxとした場合です。このように幾何的に考えても固有値が０または１であることがわかります。
固有値と固有ベクトル
マルコフ行列、非可逆行列、対称行列の固有値などについて考えます。
また漸化式を行列表現を用いてとく場合の解について固有値を用いて考えます。
スペクトル定理とはすべての実対称行列がQΛQの転置と書けることです。
一般に行列において「行空間と零空間は直交する」事実を用いて実対称行列の固有ベクトルが直交することを示せます。まずは「行空間と零空間は直交する」を示しておきます。
今回は対称行列を扱うので行空間と列空間は等しくなります。そのため列空間と零空間が直交する事実を用いて証明ができることになります。証明の流れは複数の固有値のうち任意の２つを選んでその２つの固有値の一つが０の場合と、両方とも０でない場合で場合分けして考えています。
ここでいうピボットとは行基本変形後の対角成分のことを指します。ピボットと首座行列式の関係は以下になります
２次形式の内容について考えます。ただしSは対称行列とします。まずは固有値とエネルギー（二次形式のこと）の関係です。
次にSに絞って考えます。まずは固有ベクトルの持つ性質を考えて次の定理を示します。
その他のSに関する内容を追っていきます。
次はSが正定値行列のときにコレスキー分解を行います。
コレスキー分解を多変量正規分布に応用した例を紹介します。
半正定値行列を考えます。例えば巡回行列の行列式は０です。なぜなら列ベクトルの合計が０ベクトルとなるとき（もしくは行ベクトルで考えても同じことです）、n個のベクトルは線形従属になるので行列式の値は０になります。
対称行列Sに正、負、０の固有値がそれぞれP,N,Z個あるとするとき、Aが可逆行列であればA（の転置）SAの正、負、０の固有値の個数はSと変わりません。これを慣性の法則といいます。
行列の指数関数について考えます。まずは可換の条件が大事なことを確認します。
次に固有値について考えてみます。
また今回の固有値の話は次の話題に一般化できます。フロベニウスの定理はAの関数に固有値を放り込んでOKという定理で、類似しているケーリー・ハミルトンの定理は固有多項式に行列を放り込んだら零行列になるという定理です。
特異値と特異値分解
いよいよ特異値について考えます。まずは具体例を通して全体像を把握します。
| 入力側（3次元世界） | 出力側（2次元世界） | 意味・役割 | 今回の具体例での基底 |
| 行空間 （Row Space） | — | マシーン A を通しても生き残る、入力側の主役空間。 | v_1, v_2 |
| — | 列空間 ＝ 像空間 （Column Space / Image） | 入力からワープしてきたデータがたどり着く、出力側の主役空間。 | u_1, u_2 |
| 右零空間 ＝ 核（カーネル） （Right Nullspace / Kernel） | — | マシーン A によって原点 [0,0] に圧殺される不運な空間。 | v_3 |
| — | 左零空間 （Left Nullspace） | 出力側の中で、入力から誰もたどり着けないデッドスペース。 | なし（0次元） |
特異ベクトルは工夫をすれば少し楽に求まります。
この式変形についてさらに言及します。
エッカート・ヤングの定理は「ランク（階数）がk以下のあらゆる行列の中で、元の行列Aに最も近い（誤差が最小になる）行列は、特異値分解をk項で打ち切ったA_kである」というものです。
ノルムについて次のような性質もあります。
さらに具体的な設定についてコーシー・シュワルツの不等式との関連もあります。
それではその他の特異値分解の問題の性質を取り上げます。まずは特異値分解と言ってはいけないタイプの問題です。
次に直交行列の際の注意点です。
主成分分析での累積寄与率はフロベニウスノルムの性質から来ていますね
特異値分解には簡略形があります。「どうせ0を掛けて消えるなら、最初から省いてしまおう」というのが簡約形（簡約化）です。次に直交行列について深堀します。２次元の場合の考察は簡単です。
n次元の場合はハウスホルダー行列を組み合わせることによる証明もありますが具体的な回転の内容などまではわかりません。そのため２種類の導出を行います。
レイリー商について見ていきます。固有値と固有ベクトル、そして特異値分解との絡みが出てきます。
判定に左特異ベクトルが登場するのは次のような場合です。
主成分分析に入ります。
Aの主成分とはAを特異値分解した特異ベクトルのことです。
また分散（データからなので不偏分散です）はA（Aの転置）の対角成分でトレースが全分散です。共分散は非対角成分です。
改めて直交行列の性質を振り返ります。直交行列を何個かけても直交行列です。これは（Qの転置）Q＝Iという性質を入ればQが直交行列と言えることを用いれば一瞬で終わります。Qの列空間への射影行列はQ（Qの転置）です。これはQ（Qの転置）yを考えたときに、まずyのQの列方向への影の長さを求めて、次にそれを用いてQの列ベクトルの線型結合で表すことにより影の座標を求めていることになるからです。
直交行列を用いた変換でうまくいく例を紹介します。
最後に疑似逆行列について考えます。ムーア・ペンローズの４条件を満たす行列をAの擬似逆行列といいます。
この擬似逆行列などを用いて次のような内容に発展できます。
ポチップ
