教師あり学習とは

入力（特徴量）と、正解（教師データ、ラベル）の組を大量に見せて、入力から正解を当てる関係を学ばせる方法です。

回帰と分類

• 回帰 … 数値を当てる（来月の問い合わせ件数、家の価格）
• 分類 … どのグループかを当てる（迷惑メールかどうか、問い合わせの種類）

代表的な手法

• 線形回帰 … 入力と出力の関係を直線（平面）で表す。入力が1つなら単回帰、複数なら重回帰
• ロジスティック回帰 … 名前は回帰だが、分類に使う。ある組に入る確率を0から1で出す
• 決定木 … 「〜は5以上か」のような質問を木の形にして分ける。理由が読みやすい
• ランダムフォレスト … データと特徴量を一部ずつ使って決定木をたくさん作り、多数決や平均をとる（バギング）
• 勾配ブースティング … 前の木が間違えたところを、次の木が直すように順に足していく（ブースティング）
• サポートベクターマシン（SVM） … 2つの組の境界から、いちばん近い点までの距離（マージン）が最大になるように線を引く。カーネルトリックで曲がった境界も扱える

時系列

過去の値から次の値を予測する自己回帰モデル（ARモデル）、複数の時系列をまとめて扱うベクトル自己回帰モデル（VARモデル）もあります。

手法の選び方

理由を説明したいなら決定木、精度を上げたいならランダムフォレストや勾配ブースティング、というように、目的とデータの量で選びます。

• 教師あり学習に必要な、特徴量と正解の組
• 回帰と分類の見分け方
• 線形回帰・ロジスティック回帰・決定木
• バギングとブースティング、SVM のマージン最大化