混同行列

分類の結果を、予測と実際の組み合わせで4つに分けた表です。
- 真陽性（TP） … 陽性と予測して、実際も陽性
- 偽陽性（FP） … 陽性と予測したが、実際は陰性（空振り）
- 偽陰性（FN） … 陰性と予測したが、実際は陽性（見逃し）
- 真陰性（TN） … 陰性と予測して、実際も陰性

4つの指標

• 正解率 … 全体のうち、当たった割合（TP ＋ TN）÷ 全体
• 適合率 … 陽性と予測したうち、本当に陽性だった割合 TP ÷（TP ＋ FP）
• 再現率 … 本当の陽性のうち、見つけられた割合 TP ÷（TP ＋ FN）
• F値 … 適合率と再現率の調和平均。2 × 適合率 × 再現率 ÷（適合率 ＋ 再現率）

例

1,000件のうち、TP 40、FP 10、FN 20、TN 930 なら、正解率は0.97、適合率は0.8、再現率は約0.67、F値は約0.73です。陽性が少ないデータでは、すべて陰性と答えても正解率が0.94になるので、正解率だけでは良し悪しが分かりません。

目的で指標を選ぶ

見逃しが困る場面（病気の検査、故障の予兆）は再現率を、空振りが困る場面（迷惑メールの判定で大事なメールを消したくない）は適合率を重く見ます。しきい値を動かしたときの変化は ROC 曲線で描き、その下の面積（AUC）が1に近いほどよいモデルです。

回帰の指標

数値の予測は、誤差で評価します。MSE（平均二乗誤差）、その平方根の RMSE、誤差の絶対値の平均の MAE です。MSE と RMSE は大きな外れを強く罰します。

• 混同行列の4つのます（TP・FP・FN・TN）
• 正解率・適合率・再現率・F値の計算
• 目的に合う指標の選び方と、ROC曲線・AUC
• 回帰の指標（MSE・RMSE・MAE）