全結合層と畳み込み層

全結合層は、前の層のすべてのノードと次の層のすべてのノードをつなぎます。784の入力から100のノードへの全結合層の重みとバイアスは 784 × 100 ＋ 100 ＝ 78,500 個です。
畳み込み層は、小さなフィルタ（カーネル）を画像の上でずらしながら掛け合わせ、特徴マップを作ります。同じフィルタを画像全体で使い回すので、パラメータがずっと少なくなります。3 × 3 のフィルタで入力3チャンネル、出力16チャンネルなら 3 × 3 × 3 × 16 ＋ 16 ＝ 448 個です。

出力の大きさ

（入力の幅 − フィルタの幅 ＋ 2 × パディング）÷ ストライド ＋ 1 で求めます。32、フィルタ3、パディング1、ストライド1なら32のままです。

プーリング層とスキップ結合

プーリング層は、小さな範囲の最大値（最大値プーリング）や平均（平均値プーリング）をとって、画像を縮めます。位置が少しずれても結果が変わりにくくなります。ResNet は、層を飛び越えて入力を足すスキップ結合で、とても深いネットワークを学習できるようにしました。

画像認識のタスク

• 画像分類（物体識別） … 画像全体が何かを当てる
• 物体検出 … どこに何があるかを四角で囲む（YOLO、SSD、Faster R-CNN）
• セマンティックセグメンテーション … 画素ごとに種類を当てる（U-Net など）
• インスタンスセグメンテーション … 同じ種類でも1つずつ区別する（Mask R-CNN）

データ拡張

画像を回転・反転・切り抜きなどして学習データを増やし、過学習を防ぎます。

• 全結合層と畳み込み層のパラメータ数
• 畳み込みの出力の大きさ、ストライドとパディング
• プーリング層と ResNet のスキップ結合
• 物体検出・セグメンテーションのモデルと、データ拡張