会員登録すると
学習することができます。
会員登録する(無料)
登録済みの方はこちら
ログイン

機械学習の進め方と評価 ― パイプラインを知り、適合率・再現率・F1を計算する

目安学習時間 25分

課題

全問正解でレクチャー完了です。

【問題1】

毎晩、その日の通話記録をまとめて分類し、翌朝に結果が見られればよいときに、最も合う推論のしかたはどれですか。

[選択肢]

【問題2】

本当の苦情が100件あり、モデルが苦情と判定した90件のうち72件が本当の苦情だったとき、再現率はどれですか。

[選択肢]
会員登録すると
学習することができます。
会員登録する(無料)

学ぶ目的

機械学習のパイプライン

機械学習は、決まった順番で進めます。課題を決める、データを集める、データを整える、特徴量を作る、モデルを学習させる、評価する、本番に置く(デプロイ)、本番で見張る(モニタリング)です。本番のデータが学習のときと変わってくると、精度が落ちるので、学び直し(再学習)をします。

MLOps

この流れを、毎回手作業でなく、同じ手順でくり返せるようにする考え方が MLOps です。実験の記録、手順の自動化、モデルの見張りと再学習が柱です。

推論の種類

  • リアルタイム推論 … 1件ずつ、すぐに答える
  • バッチ推論 … ためたデータを、まとめて処理する
  • 非同期推論 … 時間がかかる処理を受け付けて、あとで結果を返す
  • サーバーレス推論 … 使ったときだけ動く。たまにしか使わないときに向く

評価の指標

1,000件の通話のうち、本当に苦情なのは100件。モデルが苦情と判定したのは90件で、そのうち72件が本当の苦情だったとします。
- 正解率 … 全体のうち当たった割合。(72 + 882)÷ 1,000 = 0.954
- 適合率 … 苦情と判定したうち、本当に苦情だった割合。72 ÷ 90 = 0.8
- 再現率 … 本当の苦情のうち、見つけられた割合。72 ÷ 100 = 0.72
- F1スコア … 適合率と再現率の調和平均。約0.76

苦情が少ないデータでは、正解率だけを見ると、見逃しの多さに気づけません。

このレクチャーで学ぶこと

  • 機械学習のパイプラインと、再学習が必要になる理由
  • MLOps の考え方
  • リアルタイム・バッチ・非同期・サーバーレスの推論の違い
  • 正解率・適合率・再現率・F1スコアの計算と使い分け

質問

まだ質問は投稿されていません。

質問投稿

ログイン後に質問の投稿ができます。