2026年6月8日にデータサイエンスエキスパート試験を受けて合格しました！
DSエキスパートの勉強方法は公式テキスト『データサイエンスエキスパート演習』を周回するだけで合格することは可能です。ただし本書は１章の重みがとてもあり、１ページの中でも行間が広いものも散見されます。そこで僕が勉強をしながら行間を埋めたり具体的な例題を探して解いたものもまとめて各章ごとの公式テキストの内容を消化していきたいと思います。
ポチップ
線形代数
ポチップ
行列
正則のことを非特異ともいいます。A=LUとLU分解することで行列の逆行列や連立方程式の解を効率的に計算できます。上三角行列の逆行列は上三角で、下三角行列の逆行列も下三角です。
回転行列は前処理でも利用されます。対称行列の重要な性質は直交対角化が可能なことです。これにより、対称行列は直交基底に沿ったスケーリングと表現でき、その倍率は対応する固有値です。
対称行列による変換とは、「空間をグニャリと歪ませる」のではなく、「互いに直交する特別な方向を見つけ出し、それぞれの方向に単に引き伸ばすだけ」という極めてシンプルな操作なのです。
この行列において単位円を変換してみます。
掃き出し法におけるピボットとは１が立っている場所です。簡約階段形とはピボット以外の列要素も０となるように変形したものです。ランクは入力情報をどれくらい分解・区別できるかという情報の次元に対応します。ランクが列数より小さいと、烈ベクトルの間に冗長性（情報が退縮）があります。
データ記述と線形代数
all-onesベクトルとは成分がすべて１のn次元ベクトルです。
この性質は偏差の合計は０という統計的な直感と一致します。
これはベクトル１が張る１次元部分空間span(1)への直交射影です。
先程の式が成立することを確認します。
Pが直交射影行列であるとは、Pを２乗してもPを満たす（射影をしたものを射影しても変わらない）対称行列（射影成分Pｘと偏差成分x-Px=(I-P)xが直交するということ）です。ここでPをuとuの転置行列の積と考えています。
交射影行列による変換の結果は入力ベクトルを指定された部分空間に写すと同時に、その部分空間に属さない成分（直交成分）を除去するものになっています。
つまり射影成分（1=(p_1)1）と偏差成分は直交しており、これは平均と偏差の分離が直交分解になっていることを意味します。
先ほどの「平均つまり（span(1)への射影」は、説明変数が「1」しかない極めて特殊なケースの回帰分析でしたが、今回はそれが「複数の変数X」に拡張された形になります。つまり、回帰分析とは区間に浮かんでいる点yをXの列が張る空間に垂直に下ろしてきたときの座標が切片や回帰係数になっているということです。
つまり回帰において観測ベクトルyはyハットとe（説明不可能な成分である残差）に直交に分解されます。
この結果は統計的には残差と予測値が無相関であることに一致します。すなわち、回帰分析は、射影＋直交浦空間への分解という帰化構造の上にあります。これらは重回帰でも成り立ちます。
統計的な基本料は線形代数の枠組みの中で統一的に記述ができ、射影と直交性という概念が中心的役割を果たしています。
オールワンズベクトルなどを用いて中心化をすることなどを復習しておきます。これは多変量解析における主成分分析の例であり試験範囲です。
固有値と固有ベクトル
固有方程式を行列式の定義に沿って展開すると、その展開式にはpの階乗の項が出現します。その項の中で以下の置換の式がλのp次の項を生成する唯一の場所です。
つまりこの方程式はp次の方程式になり代数学の基本定理により複素数の範囲でp個の解（固有値）を持ちます。また実対称行列の固有値はすべて実数で、対応する固有ベクトルは実ベクトルです。
固有値の内容からスペクトル分解の流れも押さえましょう。
ここで対角化に用いる行列は元の行列が対称行列なので直交行列が取れます。(3.1.10)の時に注目します。
二次形式を考えます。このとき固有値と関係性があります。
また、この結果より正値定符号行列の固有値はすべて正であり、非負値定符号行列の固有値はすべて非負です。次に二次形式を正規化したときの最適化問題を考えます。つまりレイリー商を考えます。ここでは主成分分析における分散の概念を既知として扱っていますが、まずはここから考察します。
argとは偏角のことではなく、より一般的な次の概念です。
最後の式で固有ベクトルに比例しているという部分が分かりません。
式(3.1.16)で各b_iの値（i=2,3,…,p）を０とした値を代入してA=b_1・v_1となります。つまりv_1に比例します。
なるほど。つまりこの結果はarg maxは第１固有値に対応する固有ベクトルの方向を指しているのですね。
そうです。幾何学的には分散を最大にする方向を探した結果、それはデータの分散共分散行列Sの中で最も伸びが大きい方向である第１固有ベクトルの方向と一致したということです。
次にv_1の転置とaを掛けた値が０となるaの中で正規化された二次形式の最大化を考えます。
次にXが正方行列とは限らない行列Xを考えます。要するに特異値分解について考察します。無理やり対称行列を作るところからスタートです。
つまり以後、正値定符号行列として考えます。
最後の式変形については以下のように考えます。
Xの特異値のうち正のものの個数はXのランクに一致します。
特異値分解の応用として行列の低ランク近似があります。いくつかの小さい特異値をゼロとおくことで、Xをより低いランクの行列で近似できます。つまり特異値分解はデータの次元削減あるいは次元縮小の手法です。
n次元ユークリッド空間
先ほど登場したspan()の別の表記法は以下になります。
これはk個のベクトルによって張られる線形部分空間νです。
ここでk個のベクトルが一次従属の場合を考えます。
つまり一次従属ならばνの元の表現は一意ではありません。つまりc_1を０でないとするとき、次のような式変形を考えます。
これについて数式を追っていきましょう。
この手続きをnーr回行った後、残ったr個のベクトルが一時独立であったとき、νを張るためにはr個すべてのベクトルが必要です。これらr個のベクトルをνの基底といいます。rをνの次元といいます。ある線形部分空間に対して、基底の組は複数あります。
次元はνに含まれる一時独立なベクトルの最大個数であり、νを張るために必要なベクトルの個数の最小数です。
kerAは線形部分空間です。
次に先ほども登場した正射影と直交成分について復習をします。
この式変形がわからないので説明して欲しいです。
了解です。射影に気づいた答案だと、本質はピタゴラスの定理の意識になります。つまりベクトルa,bが直交するとき、a+bの大きさの２乗はaの２乗とbの２乗の和となることです。
一応、射影に気づかない場合に、最小値を与える各cを求める方法（平方完成）も書き足しておきます。
つまりyに最も近いνの元は次のようになります。
行列表現できる理由について書き足します。
グラム・シュミットの直交化は射影の考えの応用です。r個のベクトルで張られる線形部分空間の正規直交基底を構成します。
であることを用いると、次のように逐次的にr個のベクトルzを構成できます。
最後のQR分解についてr＝３の場合について考えます。
これを行列表現すればXU＝Zの関係式が得られます。
数値計算と線形代数
連立方程式を逆行列を用いずに数値的に解く方法は、ガウスの消去法、LU分解、QR分解、反復法などがあります。
ガウスの消去法は前進消去と後退代入の２つの手順からなります。
その後に下から順に値を求めて上に代入していきます。
LU分解とQR分解について、Lは下三角行列、Uは上三角行列、Qは直交行列を意味します。A＝LUについて、ガウスの消去法の前進消去からその構造を考えます。
１行目を２倍して２行目から引くことに対応する操作を行列で表現します。
QR分解について考えます。これは先ほどのグラム・シュミットの直交化法の結果から明らかです。
ちなみにLU分解について補足します。
Lの場合は前進消去、Uの場合は後退代入を行います。
反復法について考えます。行列のサイズが大きくなるとLU分解やQR分解の膨大になります。この場合に、ヤコビ法やガウス・ザイデル法のような反復法が用いられます。まず２つの手法に共通な事柄は次の通りです。
ヤコビ法は次の通りです。
ガウス・ザイデル法（ギブスサンプリングと更新のタイミングが同じ）は次の通りです。
違いが分かりにくいので具体例で考えます
なるほど。これは共通の式変形ですね！
| 項目 | ヤコビ法 | ガウス・ザイデル法 |
| 更新のタイミング | 全変数を一斉に更新 | 求まった順に逐次更新 |
| 行列分解 | 対角行列 D だけを残す | 下三角部分 L+D を残す |
| 収束速度 | 遅め | 速め（ヤコビの約2倍） |
行列分解は公式テキストに載っていないので軽く見ておけば良いと考えます。
これらの反復法は必ずしも解に収束するとは限りませんが、次の時に解に収束することが知られています。
微積分
ポチップ
１変数関数の微分法
反復法について考えます。
二分法は解を含む区間の中間点を求める操作を繰り返すことで方程式を解くアルゴリズムです。f(x)=0の近傍で異符号のα、βがわかっている場合、中点γを求めてf(γ)の符号がf(α)と同じならばαをγで置き換え、f(β)と同じ符号であればβをγで置き換えます。
ニュートン法は厳密解xの付近の値を初期値としてxに収束する次の数列の漸化式を用いて近似解を求める方法です。
二分法よりも高速ですが適切な初期値を探すことが困難な場合もあります。
１変数関数の積分法
ガンマ関数については次の性質が大事です。
級数の収束と積分の収束は次の図を考えれば分かりやすいです。
ダランベールの収束判定法も用いられます。
多変数の微分法
偏導関数の図形的な意味について復習します。
次に全微分可能の定義について確認します。
２変数関数においてある点Pで全微分可能→点Pで連続かつ偏微分可能です。
この定義についての図形的な意味を教えてください
了解です。次の説明をご覧ください。
１階偏導関数が連続で２階偏導関数も連続な場合、それらの偏導関数は等しくなります。これをシュワルツの定理といいます。教科書の以下ではこの可換性を前提とした内容で話を進めています。
本来はn階偏導関数は２のn乗種類がありますが可換性のもとでは以下のようにn＋１種類となります。
このヘッセ行列の記号がナブラ演算子の２乗となっているのは通常の微分記号のdy/dx表記と同様に考えれば自然な拡張となっています。またはナブラ演算子の２乗を∇の２乗＝∇（∇の転置）と考えても辻褄が合います。
なるほど外積表記ですね！
また今回は教科書には未掲載ですがラプラシンはナブラの内積表現に対応しています。
ヘッセ行列により、多変数関数の極値の一次条件は∇f(a)=0です。そのような点aでヘッセ行列が正値定符号ならばfはaで極小値をとります。反対に負値定符号ならばfはaで極大値をとります。
次にヤコビ行列を確認します。
具体例で説明して欲しいです
了解しました。では以下で解説します
ありがとうございます！行列の掛け算が本質だったのですね！
多変数の積分法
数値積分
１変数関数の定積分を考えます。台形則とシンプソン法について考えます。まずは台形則から学習します。
台形則の最終結果の等式が導けないので詳しい解説をお願いします
了解しました。では３段階に分けて説明します
次にシンプソン法に移ります。「台形公式」が区間を直線（1次関数）で近似したのに対し、シンプソン法は放物線（2次関数）で近似するため、より高い精度で積分値を求めることができます。
難易度が高いので全体像を解説した後に個々の解説に移ります。
やはり途中計算が難しいので解説して欲しいです
わかりました。３点を通る２次関数を作成したあとのbをa,cの中点とする方法をケプラーの公式といいシンプソン法の基本的な式になります
次にケプラーの公式をシンプソン法として用いていきます。
とはいえシンプソンの公式は抽象度が高いので予想問題を考えてみました
シンプソンの公式は「2次関数で近似する」手法なので、「被積分関数が3次関数以下のとき、近似ではなく『完全に正確な真の値』を叩き出す」という恐ろしい性質を持っています。
もし試験問題で「データ点が6個（区間が5個）」のような意地悪なデータを見せられたら、 「全体にシンプソン公式は使えない。最初の4区間はシンプソンで計算し、ハミ出た最後の1区間だけは台形公式（あるいは長方形）で別計算して足すんだな」 と見抜く必要があります。この「奇数個の点でペアを作る」という前提と、「1, 4, 2, 4, 1」のリズムさえ頭に入っていれば、どれだけサンプリング範囲が広がっても点数を確実に毟り取ることができます！
最適化
ポチップ
最適化には連続最適化と離散最適化があります。
連続最適化
連続最適化は連続的な変数を持つ関数の極値を求める問題で、統計的モデリング、機械学習などに広く利用されます。
まずは制約なしの最適化から考えます。
ただしこの局所最小点は鞍点かも知れません。また局所最大点かも知れません。そのため注意が必要です。
| 特徴 | 正定値 (∇2f>0) | 半正定値 (∇2f≥0) |
| 固有値 | すべて正 | 0以上の値（0を含む） |
| 断面図 | どの方向も鋭いカーブで上昇 | 上昇する方向と、平らな方向がある |
| 判定 | 局小点であると言い切れる | 局小点の可能性がある（まだ疑わしい） |
| イメージ | 綺麗なボウル | 溝（U字溝）や底の平らな器 |
ただしこれは微分に基づく場合で大域的な最小解であることを保証しません。そのためには凸関数の考え方が必要になります。
その前にテイラー展開における２次の項についての言及が難しいです
わかりました。詳しく考えていきましょう
ここの部分で難しいと思うので具体例を提示します。
それでは次に進みます。
次に凸関数について解説します。
一般には反復法が用いられます。ここでは制約なしの状況を考えていることに注意しましょう。最急降下法（勾配降下法ともいいます）と二次導関数を用いるニュートン法を考えます。まずは最急降下法を考えます。
ここらへんの詳しい内容はG検定の方がより詳しく学べます。僕は2025年3月に合格しました難しい試験だと感じました。
なんか事前準備がややこしそうですね
そうなのです。そのため次のような問題点もあります
教科書ではニュートン・ラフソン法でのヘッセ行列の逆行列の意味についての言及がありませんでしたが考察してみます。
ニュートン・ラフソン法の具体的な例題を見てみましょう
CBT試験の選択肢で、もし問題の式が「最高次数が2次までの綺麗な式」だった場合は、真面目に行列の計算をしなくても、「普通に平方完成して頂点の座標を求める」だけで、1回更新後の解を瞬時に見抜くことができます。
次に制約付き最適化を学びます。まずは具体例からです
条件付き極値問題と線形計画法とラグランジュの双対問題を扱います。
まずは条件付き極値問題を考えます。しかしその前に∇（ナブラ）fということの意味を再度考えた方がラグランジュの未定乗数法の理解が深まります。∇の意味を理解するために方向微分から考えます。
実はこの方向微分は全微分可能性を仮定すると書き換えが可能です。そのため全微分可能ということをεを用いた式への書き換えを考えます。しかしすぐには難しいので１変数の微分から考えます。
つまり全微分可能なときに、上のような式で書き換えることができます。これを用いて方向微分と全微分との関連を考えます。
それでは∇が持つ意味について考えます。
それではラグランジュの未定乗数法の意味について∇を用いて考えます。
つまり気持ち的にはこういうことです
線形計画法について考えます。
線形計画問題を解くための代表的なアルゴリズムはシンプレックス法です。これは可行領域の頂点を列挙しながら目的関数の値を改善していく方法です。はじめに初期頂点を見つけ、その後、隣接する頂点の中から最も目的関数が改善される方向に進むことで、最適解に到達します。最悪の場合、探索すべき頂点の数は指数的に増大しますが、実際のデータでは極めて高速に収束することが多く、長年にわたって実用的なアルゴリズムとして使われてきました。現代では内分法との併用も広く行われています。
これは目的関数が大きくなるように頂点を移動しているだけですが、不等式を等式に直すためのスラック変数を導入することにより行列の考えに帰着できます。
ここで再度、条件を再構築してみます。
このシンプレックス表の書き方について補足します。
次に目的関数の行（zの行）について考えます。
| 行の役割 | x1 | x2 | s1 | s2 | 定数 | 見てる場所 |
| 制約1 | 2 | 1 | 1 | 0 | 6 | 1つ目の不等式の各係数 |
| 制約2 | 1 | 2 | 0 | 1 | 6 | 2つ目の不等式の各係数 |
| 目的関数 | -3 | -2 | 0 | 0 | 0 | 最大化したい式の係数の符号反転 |
「目的関数だけ符号が逆になる」という点さえ押さえれば、あとはパズルのように数字を並べるだけです！
連続最適化の最後の内容でさるラグランジュ双対問題に取り掛かります。
今回のラグランジュ関数は以下のように設定します
双対問題は、主問題の目的関数f(x)の下からの評価を与える関数であり、双対問題の最適値は主問題の下界となります。これを弱双対性といいます。両者が一致するとき、強双対性をもつといいます。このように双対問題を通して主問題を間接的に解析できます。
離散最適化
ここでは組合せ最適化、ネットワーク最適化、ナップサック問題、巡回セールスマン問題などを考えます。
まずは組合せ最適化を考えます。もしもお金のお札が5575円札などになってしまった場合、ある金額の商品を購入する際にお釣りが少なくなるようなお札や硬貨の最適な組合せを求める問題は、ナップサック問題に関係しています。
ただしkが大きくなると最適な組み合わせを効率的に求めることが難しいというNP困難問題という難問が立ちはだかります。
組合せ最適化の次の例はグラフのモデルの例です。
ルートの長さは、辺の数のみを数え、実際の図上の長さは考慮しないことに注意しましょう！
問題１を最短経路問題、問題２を最長経路問題といいます。最長経路問題はNP困難問題に分類されます。本問の問題２の設定で、AからBに至るまですべての頂点を１度だけ通るルートが存在すれば、それはハミルトン閉路といいますがこれもNP困難問題です。
現実の問題では２頂点の間に距離やコストがかかります。グラフの各辺に対して整数値を割り当てた重み付き付きグラフとしてしばしばモデル化されます。
組合せ最適化問題の代表的な問題として巡回セールスマン問題が知られています。これは与えられた複数都市を一度ずつ周回して戻ってくる際にかかる移動コストを最小にする経路問題です。これは重み付きグラフにて各辺に割り当てられた整数値の総和が最小になるハミルトン閉路を求める問題になります。つまり巡回セールスマン問題もNP困難問題です。
離散最適化問題でNP困難問題は２つの点において役に立ちます。１つは、手がけている最適化問題がNP困難問題だとわかることです。２つは、NP困難問題という安藤を用いたメッセージのやりとりを可能にすることです。
次にグラフに向きを導入した有向グラフを用いたグラフモデルを考えます。単純グラフは２頂点間に高々１つの辺からなります。多重グラフは、２頂点間に２つ以上の辺からなります。向きがついた辺を弧といい、頂点集合V、弧の集合Aからなる対D＝(V,A)のことを有効グラフといいます。有向グラフDの各弧a∈Aは、aを構成している２つの頂点u,vにおいて、uからvに向かって向きをつけた矢印u→vであるとみなせます。u,vをぞれぞれaの始点、終点といいます。Dの各頂点v∈Vに接続する弧は、vが始点である弧とvが終点である弧の２種類に分けられるので、前者の弧の集合をo(v)、後者の弧の集合をi(v)と表すことにします。
ついにネットワークモデルが登場しましたね！
最後に最大流の問題を考えます。これは全ての順方向のルートを詰まらせることが目的です
データサイエンスエキスパートの合格記事は下記です！
