汎化性能と過学習

学習に使ったデータでの誤差を訓練誤差、まだ見ていないデータでの誤差を汎化誤差と呼びます。目指すのは汎化性能、つまり新しいデータでも当たることです。訓練データに合わせすぎて、新しいデータで当たらなくなる状態が過学習です。

検証の方法

• ホールドアウト検証 … データを学習用とテスト用に1回だけ分ける。手軽だが、分け方で結果がぶれる
• k分割交差検証 … データをk個に分け、1つをテスト、残りを学習に使うことを、テストの役を順に替えてk回くり返し、平均をとる。データが少ないときに向く

1,000件を5分割すれば、毎回800件で学び、200件で確かめます。

モデルの選び方

同じくらい説明できるなら、単純なモデルを選ぶ考え方をオッカムの剃刀と呼びます。AIC（赤池情報量規準）や BIC は、当てはまりのよさとモデルの複雑さの両方を見て選ぶための数です。

統計の基本

• 平均・中央値・最頻値 … 外れ値に強いのは中央値
• 分散と標準偏差 … ばらつきの大きさ。標準偏差は分散の平方根
• 相関係数 … 2つの量が一緒に動く強さ（マイナス1から1）
• 疑似相関 … 第3の要因があるせいで、関係がないのに相関が見えること
• 距離 … ユークリッド距離（まっすぐの距離）、コサイン類似度（向きの近さ）

• 訓練誤差と汎化誤差、過学習
• ホールドアウト検証と k分割交差検証
• オッカムの剃刀と、AIC・BIC
• 平均・中央値・分散・標準偏差・相関と疑似相関