機械学習の具体的手法(教師あり/なし・強化学習)

機械学習の手法は、正解ラベル付きデータから入出力関係を学習する教師あり学習、ラベルなしデータから構造を発見する教師なし学習、報酬を手がかりに行動を学習する強化学習の三つに大別される。JDLA公式シラバスの試験範囲「機械学習の具体的手法」はこの区分に沿って構成され、各手法がどの区分に属するかを問う問題が頻出である。教師あり学習はさらに、出力が連続値である回帰と、離散的なカテゴリを予測する分類に分かれる。回帰の基本は線形回帰であり、最小二乗法により誤差の二乗和を最小化して係数を求める。過学習を抑えるために損失関数へ罰則項を加える正則化が用いられ、L1正則化を加えたものをラッソ回帰、L2正則化を加えたものをリッジ回帰と呼ぶ。L1正則化は一部の係数をちょうどゼロにするため特徴選択の効果を持つ点が、L2正則化との違いとして繰り返し問われている。

分類の代表的手法は名称と原理をセットで整理する。ロジスティック回帰は「回帰」という名称だが分類の手法であり、線形結合の出力をシグモイド関数(多クラス分類ではソフトマックス関数)に通して確率として解釈する。この名称と用途のずれはひっかけの定番である。サポートベクターマシン(SVM)は、決定境界と各クラスの最近傍データ(サポートベクトル)との距離であるマージンを最大化するように境界を定める手法で、スラック変数の導入により多少の誤分類を許容できる。線形分離できないデータには、高次元空間へ写像したのと同じ効果を内積(カーネル関数)の計算だけで得るカーネルトリックを用いる。決定木は情報利得(不純度の減少)が最大となる条件で分岐を繰り返す手法で、解釈性が高い一方、深くすると過学習しやすい。k近傍法(k-NN)は最も近いk個のデータの多数決で分類する単純な手法で、kの設定により結果が変わる。

複数のモデルを組み合わせて精度を高めるアンサンブル学習は本試験の最頻出論点の一つである。バギングは、ブートストラップサンプリングで作成した複数のデータセットからモデルを並列に学習させ、多数決や平均で統合する方法である。決定木をバギングし、さらに各分岐で用いる特徴量もランダムに選択するのがランダムフォレストである。これに対しブースティングは、前のモデルが誤分類したデータを重視しながら弱学習器を逐次的に追加していく方法で、AdaBoostや勾配ブースティングが代表であり、実装としてXGBoostやLightGBMが広く使われる。「並列のバギング・逐次のブースティング」という対比が核心であり、ブースティングは一般に精度が高い一方で逐次学習のため計算時間がかかり、バギングは並列化しやすく過学習に比較的頑健であるという性質の違いまで押さえておきたい。

教師なし学習では、クラスタリングと次元削減が二本柱である。k-means法は、あらかじめ指定したk個のクラスタについて、重心の計算とデータの割り当てを収束するまで反復する手法であり、クラスタ数kを人間が事前に与える点が問われる。階層的クラスタリングは最も近いクラスタ同士を順に併合していく手法で、結果はデンドログラム(樹形図)で表され、ウォード法などの併合基準がある。次元削減の代表である主成分分析(PCA)は、データの分散が最大となる方向を第一主成分とし、直交する軸を順に求め、寄与率を確認しながら少数の次元へ圧縮する。高次元データの二次元可視化にはt-SNEも用いられる。このほか、嗜好の類似した他ユーザーの行動履歴から推薦を行う協調フィルタリング(新規ユーザーに弱いコールドスタート問題が弱点)、文書集合から潜在的な話題を抽出するトピックモデル(LDA)もシラバス掲載の頻出用語である。

強化学習は、エージェントが環境の状態を観測して行動を選択し、環境から得られる報酬の総和(収益)を最大化する方策を学習する枠組みである。将来の報酬は割引率γで割り引いて評価する。状態と行動の組の価値を表すQ値(行動価値関数)を経験から逐次更新するのがQ学習であり、更新時に実際に採った行動と独立な最大値を用いる方策オフ型(off-policy)に分類される。一方、SARSAは実際の行動系列に沿って更新する方策オン型(on-policy)である。価値関数を介さず方策そのものをパラメータ化して勾配で改善する方策勾配法(REINFORCEなど)、価値関数と方策の両方を学習するActor-Criticも出題される。状態遷移を単純化したバンディットアルゴリズムでは、既知の良い行動を採る「活用」と未知の行動を試す「探索」のトレードオフが核心であり、ε-greedy方策やUCB方策が代表として問われる。

モデルの良し悪しは未知データに対する汎化性能で測る。データを訓練用と評価用に一度だけ分割するのがホールドアウト法、データをk個に分割して評価をk回繰り返し平均するのがk-分割交差検証である。分類の評価は混同行列を基礎とし、真陽性(TP)・偽陽性(FP)・偽陰性(FN)・真陰性(TN)から、正解率=(TP+TN)/全体、適合率=TP/(TP+FP)、再現率=TP/(TP+FN)、および適合率と再現率の調和平均であるF値が定義される。適合率と再現率はトレードオフの関係にあり、病気の見逃しを避けたい場面では再現率を、誤検知のコストが大きい場面では適合率を重視するといった使い分けが問われる。判定の閾値を変化させ、偽陽性率を横軸・真陽性率を縦軸に描いた曲線がROC曲線であり、その下側面積AUCは1に近いほど性能が良い。混同行列から各指標を計算させる出題は毎回の定番である。

訓練データに適合しすぎて未知データで性能が落ちる現象が過学習(オーバーフィッティング)、逆にモデルが単純すぎて訓練データすら十分に学習できない状態が未学習(アンダーフィッティング)である。予測誤差はモデルの表現力不足に起因するバイアスと、データの揺らぎへの敏感さに起因するバリアンスに分解され、両者はトレードオフの関係にある。過学習への対策としては、学習データを増やす、特徴量や次元を削減する(次元の呪いの回避)、正則化を課す、交差検証で汎化性能を確認しながらモデルを選択することなどが挙げられる。「同程度の性能なら単純なモデルを選ぶべき」という指針はオッカムの剃刀と呼ばれ、あてはまりの良さとパラメータ数のバランスでモデルを評価する赤池情報量規準(AIC)も知識として問われる。なお、ハイパーパラメータは学習で自動的に決まるパラメータとは異なり人間が事前に設定する値であり、グリッドサーチ等で探索する。