回帰分析(単回帰・重回帰・決定係数)

統計検定2級の公式シラバス(日本統計学会「統計検定2級出題範囲表」)では、本章の内容は「線形モデル」のうち「回帰分析(重回帰分析を含む)」として明記されており、CBT約35問のうち例年2〜4問が出題される主要分野である。単回帰モデルはy=α+βx+εと表され、誤差項εには「互いに独立・期待値0・等分散」という標準的仮定(区間推定や検定を行う場合はさらに正規性)を置く。母数α・βの推定には最小二乗法を用い、残差平方和を最小にする推定量は、傾きb=Sxy/Sxx(xとyの偏差積和÷xの偏差平方和)、切片a=ȳ−b x̄で与えられる。傾きは相関係数rと標準偏差を用いてb=r×(sy/sx)とも書け、この変換式は本試験で最頻出の計算パターンである。推定された回帰直線は必ず点(x̄, ȳ)を通ることも併せて押さえたい。

回帰の当てはまりの良さは決定係数R²(寄与率とも呼ぶ)で測る。総平方和Syy(yの偏差平方和)は「回帰による平方和SR」と「残差平方和Se」に分解でき(Syy=SR+Se)、R²=SR/Syy=1−Se/Syyと定義される。R²は0以上1以下の値をとり、目的変数の変動のうち回帰式で説明できる割合を表す。単回帰分析ではR²は相関係数rの2乗に一致する。ここから逆に、出力表のR²から|r|を復元させる問題(r=±√R²、符号は傾きの符号と一致)も出題実績がある。注意すべきは、R²が高いことは「当てはまりが良い」ことを意味するにすぎず因果関係の証明にはならない点、またデータの範囲外への外挿予測は信頼できない点である。いずれも正誤判定問題の定番のひっかけである。

回帰係数の統計的推測もシラバス上の明示項目である。傾きの推定量bは標本ごとに変動するため、その標準誤差se(b)を用いて帰無仮説H0:β=0(「xはyの説明に寄与しない」)をt検定する。検定統計量はt=b/se(b)で、単回帰なら自由度n−2、説明変数k個の重回帰なら自由度n−k−1のt分布に従う。本試験ではRなどの統計ソフトの出力表(Estimate、Std. Error、t value、Pr(>|t|))を読み取らせる形式が頻出で、p値が有意水準(通常5%)を下回れば帰無仮説を棄却して「係数は有意」と判断する。t値が空欄にされ係数÷標準誤差で自力計算させる問題や、信頼区間b±t×se(b)を構成させる問題も出題実績がある。自由度の取り違え(nやn−1と誤る)が典型的な失点源である。

重回帰分析では説明変数が複数になり、各偏回帰係数は「他の説明変数を一定としたときの効果」と解釈する。重要なのは、説明変数を追加すると通常のR²は決して減少しない(同じか増える)という性質で、これでは変数の多いモデルほど見かけ上有利になってしまう。そこで自由度調整済み決定係数R̄²=1−{Se/(n−k−1)}/{Syy/(n−1)}を用いる。調整済みR²は寄与の乏しい変数を加えるとかえって低下しうるため、モデル比較の指標として機能する。また回帰式全体の有意性は、帰無仮説「すべての偏回帰係数が0」を自由度(k, n−k−1)のF検定で判断する。質的な説明変数は0/1のダミー変数として取り込む。R²と調整済みR²の性質の対比は正誤問題として繰り返し出題されている。

重回帰で注意すべきが多重共線性である。これは説明変数どうしの相関が強い状態を指し、目的変数との相関の話ではない点がひっかけどころである。多重共線性が生じると偏回帰係数の推定が不安定になり、標準誤差が大きくなって係数の符号が理論と逆転するなどの現象が起こる。判定の目安にはVIF(分散拡大要因)が用いられる。またモデルの妥当性確認には残差分析を行う。定数項を含む最小二乗法では残差の和は必ず0になるため残差の平均を見ても意味はなく、残差プロットで等分散性や直線性の崩れ、外れ値の有無を視覚的に確認する。残差に系統的なパターン(曲線状の傾向など)が見えるときは、線形モデルの仮定が満たされていない兆候である。

本試験(CBT方式・四〜五肢択一約35問・100点満点中60点で合格)での本章の得点戦略をまとめる。第一に、計算問題はb=r×(sy/sx)型とR²=1−Se/Syy型の二大パターンでほぼ尽きるため、電卓で確実に処理できるようにする。第二に、出力表の読み取りでは「t値=係数÷標準誤差」「p値と有意水準の大小比較」「自由度n−k−1」の三点を機械的に確認する。第三に、正誤判定では「R²が高い=因果関係あり」「調整済みR²は変数追加で必ず増える」「多重共線性はyとxの相関のこと」「回帰直線は原点を通る」といった定番の誤り選択肢を即座に切れるようにする。相関係数の章(散布図・相関)と偏差平方和の計算は本章の前提であり、Sxy・Sxx・Syyの定義が曖昧なら先に復習してから演習に入るのが効率的である。