数理・統計の基礎(確率・行列・評価指標の計算)

本章はJDLA(日本ディープラーニング協会)の公式シラバスに定められた出題項目「数理・統計」を扱う。G検定は多肢選択式の約160問を120分で解くオンライン試験であり、1問あたり45秒程度しか使えないため、計算問題は公式を即座に適用できるかどうかが勝負となる。出題の柱は四つある。第一に確率(条件付き確率・ベイズの定理)、第二に統計(期待値・分散・標準偏差・相関係数)、第三に線形代数(行列の積・固有値・固有ベクトル)、第四に機械学習モデルの評価指標(混同行列・適合率・再現率・F値・ROC曲線とAUC)である。いずれも誤差逆伝播法や勾配降下法などディープラーニングの学習原理を理解する土台であり、シラバス上も機械学習・ディープラーニングの各分野と接続して出題される。計算自体は高校数学レベルだが、用語の定義を正確に覚えていないと選択肢の言い換えに引っかかるため、本章では定義と計算手順を対にして整理する。

確率分野の最頻出はベイズの定理である。条件付き確率P(A|B)=P(A∩B)/P(B)と乗法定理から、P(A|B)=P(B|A)P(A)/P(B)が導かれる。ここでP(A)を事前確率、P(A|B)を事後確率、P(B|A)を尤度と呼ぶ。この名称の対応を問う知識問題と、数値を代入して事後確率を求める計算問題の双方に出題実績がある。典型例は検査問題であり、有病率(事前確率)が低い場合、感度が高い検査でも陽性的中率(事後確率)は直感より大幅に低くなる。分母のP(B)は全確率の公式P(B)=P(B|A)P(A)+P(B|¬A)P(¬A)で展開して計算する。また、二つの事象が独立であるとはP(A∩B)=P(A)P(B)が成り立つことをいい、排反(P(A∩B)=0)との混同が定番のひっかけである。独立ならばP(A|B)=P(A)となる点も併せて押さえたい。

統計分野では、期待値・分散・標準偏差の定義と関係を押さえる。分散はデータの散らばりを表し、偏差の二乗の期待値V(X)=E[(X−μ)²]で定義され、標準偏差はその正の平方根である。二変数の関係は共分散と相関係数で測る。相関係数は共分散を両変数の標準偏差の積で割った無次元量で、−1から1の値を取り、線形関係の強さと向きを表す。ここで「相関係数が0でも独立とは限らない」「相関は因果を意味しない」の二点は頻出のひっかけである。分布では、平均と標準偏差で形が定まる正規分布、成功確率pの1回試行を表すベルヌーイ分布、その繰り返しである二項分布が基本となる。さらに、観測データへの当てはまりを最も高くするパラメータを尤度の最大化で求める最尤推定は、交差エントロピーなど機械学習の損失関数の理論的背景として、シラバスの機械学習分野へ橋渡しされる論点である。

線形代数では行列の積の計算ルールが最重要である。m×n行列とn×p行列の積はm×p行列となり、左の行列の列数と右の行列の行数が一致しない場合は積が定義できない。積は一般に交換法則を満たさず(AB≠BA)、この性質は正誤問題の定番である。単位行列Iは積の単位元(AI=IA=A)、逆行列A⁻¹はAA⁻¹=Iを満たす行列、転置行列は行と列を入れ替えた行列である。ベクトルの内積は対応する成分の積の和であり、コサイン類似度など類似度計算の基礎となる。固有値・固有ベクトルはAv=λvを満たすλとvであり、主成分分析(PCA)で分散が最大となる方向(主成分)を求める際に現れる。ディープラーニングでは各層の計算が「重み行列と入力ベクトルの積+バイアス」で表現されるため、行列演算はニューラルネットワークの順伝播そのものであると理解しておくと他章の学習にも直結する。

微分はニューラルネットワークの学習を支える道具である。導関数は関数の接線の傾き、すなわち瞬間的な変化率を表し、多変数関数について一つの変数のみに着目して微分したものが偏微分である。全変数の偏微分を並べたベクトルが勾配であり、勾配降下法は損失関数の勾配と逆方向にパラメータを更新して最小値を探索する。合成関数の微分に用いる連鎖律(チェインルール)は、誤差逆伝播法が出力層の誤差を入力側へ伝播させる数学的根拠であり、「誤差逆伝播法は連鎖律に基づく」という対応はディープラーニング分野と重なる頻出知識である。計算面では、多項式の微分や、シグモイド関数の導関数がσ(x)(1−σ(x))と書ける事実などが問われた実績がある。学習率が大きすぎると発散し、小さすぎると収束が遅いという勾配降下法の性質も、本章の周辺知識として併せて整理しておきたい。

評価指標は本章で最も得点期待値が高い論点である。二値分類の結果は混同行列で整理する。TP(真陽性)・FP(偽陽性)・FN(偽陰性)・TN(真陰性)の四つのマスを置き、正解率=(TP+TN)/全体、適合率=TP/(TP+FP)、再現率=TP/(TP+FN)、F値=2×適合率×再現率/(適合率+再現率)(調和平均)と定義する。覚え方の要諦は分母である。適合率は「陽性と予測したもの」が分母(予測基準)、再現率は「実際に陽性のもの」が分母(実際基準)であり、この違いを突く正誤問題が繰り返し出題されている。また、実際の陰性のうち正しく陰性と判定できた割合を特異度と呼ぶ。不均衡データでは、全件を多数派クラスと予測するだけで正解率が高く出るため、正解率のみでの評価は不適切であり、適合率・再現率・F値やAUCを併用する。この「正解率の罠」はシナリオ形式で問われる定番である。

閾値に依存しない評価としてROC曲線とAUCがある。ROC曲線は分類の閾値を変化させながら、横軸に偽陽性率、縦軸に真陽性率(再現率)をプロットした曲線であり、その下側の面積がAUCである。AUCは1に近いほど識別性能が高く、0.5はランダムな予測と同等を意味する。曲線が左上に膨らむほど良いモデルであるという図形的性質も問われる。一方、回帰タスクの評価には、誤差の二乗の平均である平均二乗誤差(MSE)、その平方根のRMSE、誤差の絶対値の平均であるMAE、モデルの説明力を表す決定係数などを用いる。さらに評価は汎化性能に対して行うべきであり、データを訓練用と評価用に分割するホールドアウト法、分割を入れ替えて繰り返すk-分割交差検証が関連論点として同時に出題される。訓練データの精度だけが高く評価データで低い状態が過学習である、という対応まで一続きで理解しておくこと。

学習戦略としては三点を推奨する。第一に、評価指標は混同行列を自分の手で書き、TP・FP・FN・TNから各指標を毎回導出する練習を積むこと。丸暗記より導出の方が本番の言い換え表現に強い。第二に、ベイズの定理は「事前確率×尤度を、起こり得る全パターンの和で割る」という手順として身体化し、検査問題や迷惑メールフィルタ問題など文章題の形で反復すること。第三に、1問あたり約45秒という時間制約を踏まえ、計算問題に時間をかけすぎず、知識問題を先に確実に取る時間配分を模試で体得することである。本章の論点は難問ではないが、適合率と再現率、独立と排反、算術平均と調和平均といった定義の取り違えによる単純ミスが失点の大半を占める。逆に言えば、定義を正確に押さえた受験者にとって本章は確実な得点源であり、他分野の理解を支える合格の土台となる章である。