オートエンコーダ

入力を小さな表現に圧縮するエンコーダと、そこから元に戻すデコーダを組み合わせ、入力と同じものを出力するように学ぶモデルです。次元削減や、正常なデータとの違いから異常を見つけるのに使います。変分オートエンコーダ（VAE）は、圧縮した表現を確率分布として扱い、新しいデータを作れるようにしたものです。

GAN と拡散モデル

• GAN（敵対的生成ネットワーク） … 偽物を作る生成側と、本物か偽物かを見分ける識別側を競わせて学ぶ。DCGAN、Pix2Pix、CycleGAN など
• 拡散モデル（Diffusion Model） … データに少しずつノイズを加える過程を逆にたどり、ノイズから画像を作る
• NeRF … 何枚かの写真から、別の視点の見え方を作る

事前学習とファインチューニング

大量のデータで先に学習したモデル（事前学習済みモデル）を、目的のタスクのデータで調整するのがファインチューニングです。学習済みのモデルの一部を別のタスクに生かすのが転移学習です。新しいことを学ぶと前に覚えたことを忘れてしまう現象を破滅的忘却と呼びます。正解ラベルなしで、データ自身から問題を作って学ぶのが自己教師あり学習です。

大規模言語モデルと基盤モデル

大規模言語モデル（LLM）は、大量の文章で次の単語を予測するなどの方法で事前学習した、とても大きな言語モデルです。BERT は文の前後の両方から単語を当てる学習をします。いろいろなタスクの土台になる大きなモデルを基盤モデルと呼びます。人の評価をもとに出力を調整する方法を RLHF（人間のフィードバックによる強化学習）と呼びます。例をいくつか見せて解かせるのが Few-shot、例を見せずに解かせるのが Zero-shot です。

マルチモーダル

文章と画像など、複数の種類のデータを一緒に扱うことです。CLIP は画像と文章を対応づけ、文章から画像を作る Text-To-Image にもつながります。

• オートエンコーダと VAE
• GAN と拡散モデル
• 事前学習・ファインチューニング・転移学習・破滅的忘却
• 大規模言語モデル・基盤モデル・RLHF・マルチモーダル