データクレンジング

分析の前に、データの誤りや抜けを直す作業をデータクレンジングと呼びます。分析の時間の多くは、この作業に使われると言われます。

• 欠損値 … 値が入っていない所。行ごと除く、平均値や中央値で埋める、などから選ぶ
• 外れ値 … ほかから大きく離れた値。入力の誤りか、本当に起きたことかを確かめる
• 表記ゆれ … 同じものが違う書き方で入っていること。全角と半角、「株式会社」と「(株)」など
• 重複 … 同じ行が2回入っていること

値をそろえる

• 正規化（min-max） … 最小を0、最大を1にそろえる。50〜100の範囲で70なら0.4
• 標準化 … 平均0、標準偏差1にそろえる
• ダミー変数 … 「東京・大阪・福岡」のような種類を、0と1の列に分ける

結合とサンプリング

2つの表を、共通の列でつなぐことを結合と呼びます。両方にある行だけを残すのが内部結合、片方の表の行を全部残すのが外部結合です。データが多すぎるときは、一部を取り出して扱います（サンプリング）。

試験での問われ方

結合は、どちらの表の行を残すかを先に決めてから、行を数えます。どの行が消え、どの行が増えるかを言葉で言えるようにします。正規化は、1つの式だけを覚えます。

• データクレンジング（欠損値・外れ値・表記ゆれ・重複）
• 正規化（min-max）と標準化、ダミー変数
• 内部結合と外部結合で、行の数がどう変わるか
• サンプリングと、加工の記録を残すこと