221 Views
August 15, 23
スライド概要
機械学習や音声認識に関する書籍を執筆しています。
3章 結果の評価 • 荒木雅弘(著), 渡まかな(作画), ウェルテ(制作) : 『マンガでわかる機械学習』 (オーム社, 2018年) p.80 7コマ目 • サポートページ
3章のストーリー • 清原は、教わった方法で100%の正解率を実現し、同僚の 九条の助けを借りて糖尿病診断のwebサイトを立ち上げる • しかし判定精度が悪く、多くの苦情を受ける • さやかは機械学習を使ったシステムの正しい性能予測法を 教える
分割学習法 • 全データを学習用と評価用に分ける • データが多くあるときに有効 全データ 学習用 データ 評価用 データ
分割学習法 • ハイパーパラメータチューニングを行うときは3分割 • 検証用データでハイパーパラメータの良さを評価 • 最終的な性能は評価用データで推測 全データ 学習用 データ 検証用 データ 評価用 データ
交差確認法 • データをm分割して、m回の評価の平均をとる • 学習データが少ない場合に有効
評価指標 • 混同行列から算出 識別器の出力 予測+ 予測― 正解+ true positive (TP) false negative (FN) 正解― false positive (FP) true negative (TN) データに付いた 正解 • 正解率
評価指標 • 目的に応じて適切な評価指標を選ぶ 正解+ 予測+ TP 予測― FN 正解― FP TN • 正解率 • 精度 • 再現率 • F値 トレード オフ