RNN

リカレントニューラルネットワーク（RNN）は、前の時刻の隠れ層の状態を、次の時刻の入力と一緒に使う回帰結合層を持ちます。文章や音声、売上の推移などの時系列データに向いています。時間をさかのぼって誤差を伝える学習を BPTT と呼びます。

RNN の課題と LSTM

長い時系列では勾配消失や勾配爆発が起き、遠い過去の情報を覚えにくくなります。LSTM は、ゲート機構（入力・出力・忘却のゲート）で、何を覚えて何を忘れるかを調整します。GRU は、それを簡単にしたものです。未来から過去の向きも使うのが双方向RNNです。

Seq2Seq と Attention

Seq2Seq は、入力の系列をエンコーダで読み、デコーダで別の系列を出す仕組みです（翻訳など）。Attention は、出力の各時点で、入力のどこに注目すればよいかの重みを計算します。

Transformer

RNN を使わず、Attention だけで系列を扱うモデルです。
- Self-Attention … 同じ文の中の単語どうしの関係を計算する
- Source-Target Attention … 出力側から入力側へ注目する
- クエリ・キー・バリュー … 注目の度合いを計算するための3つの値
- Multi-Head Attention … 注目の仕方を複数並べる
- 位置エンコーディング … 単語の順番の情報を足す

順番に計算する必要がないので並列に計算しやすく、大規模な学習ができるようになりました。

言葉の表し方

単語を1つだけ1のベクトルで表すワンホットベクトルに対して、意味の近い単語が近くなるように表すのが分散表現（単語埋め込み）で、word2vec が代表です。

• RNN の仕組みと、時系列データに向く理由
• 勾配消失と、LSTM・GRU のゲート機構
• Seq2Seq と Attention
• Transformer の Self-Attention と位置エンコーディング、分散表現