ニューラルネットワーク

人間の神経細胞のつながりをまねた計算の仕組みです。入力に重みをかけて足し合わせ、活性化関数を通して次へ渡します。
- 単純パーセプトロン … 入力層と出力層だけ。直線で分けられる問題しか解けない
- 多層パーセプトロン … 間に隠れ層を入れたもの。曲がった境界も表せる
- 隠れ層を何層も重ねたものを、ディープラーニング（深層学習）と呼ぶ

計算の道具

学習には大量の掛け算と足し算が要ります。同じ計算を並べて一度にこなすのが得意な GPU や、ディープラーニング向けに作られた TPU が使われます。

活性化関数

• シグモイド関数 … 出力を0から1にする。微分の最大値は0.25で、層を重ねると勾配が小さくなりやすい
• tanh関数 … 出力をマイナス1から1にする
• ReLU関数 … 0より小さければ0、大きければそのまま。勾配が消えにくく、隠れ層でよく使う
• ソフトマックス関数 … 出力の合計を1にし、多クラス分類の確率にする

誤差関数

予測と正解のずれを数にしたものです。回帰では平均二乗誤差関数、分類では交差エントロピーを使います。2つの確率分布の違いを測る KLダイバージェンス（カルバック・ライブラー情報量）もあります。

組み合わせ

多クラス分類では、出力層をソフトマックス関数にし、交差エントロピーを小さくするように学ぶのが定番です。

• 単純パーセプトロンと多層パーセプトロンの違い
• GPU・TPU がディープラーニングに向く理由
• 活性化関数（シグモイド・tanh・ReLU・ソフトマックス）
• 誤差関数（平均二乗誤差関数・交差エントロピー）