誤差逆伝播法

出力の誤差を、出力側から入力側へ逆向きにたどり、それぞれの重みが誤差にどれだけ関わったか（勾配）を求める方法です。微分の連鎖律を使います。

勾配消失問題

層をさかのぼるたびに微分の値を掛けるので、シグモイド関数のように微分が小さい関数を使うと、入力に近い層の勾配がほぼ0になり、学習が進まなくなります。ReLU関数、スキップ結合、正規化などで和らげます。反対に、勾配が大きくなりすぎるのが勾配爆発問題です。

最適化手法

• 勾配降下法 … 勾配と反対の向きに、学習率の分だけ重みを動かす
• 確率的勾配降下法（SGD）・ミニバッチ学習 … データの一部ずつで更新する
• モーメンタム … それまでの動きの勢いを使う
• AdaGrad・RMSprop・Adam … 学習率を自動で調整する
• 局所最適解や鞍点で止まってしまうことに注意する

過学習を防ぐ

• 正則化 … 重みが大きくなりすぎないように罰を加える。L1正則化（ラッソ回帰）は不要な重みを0にしやすく、L2正則化（リッジ回帰）は重みを全体に小さくする
• ドロップアウト … 学習のたびに一部のノードを無作為に休ませる
• 早期終了 … 検証の誤差が上がり始めたら学習を止める
• バッチ正規化 … 層への入力を整えて、学習を安定させる

• 誤差逆伝播法と連鎖律
• 勾配消失問題と、その対策
• 勾配降下法と、SGD・モーメンタム・Adam
• 正則化・ドロップアウト・早期終了・正規化