第195回 雲勉 AIの回答、誰がチェックするのか– Google Cloud で「AIの採点係」を作ってみた

第 195 回 雲勉 AIの回答、誰がチェックするのか – Google Cloud で「AIの採点係」を作ってみた 中里見 裕作 KDDIアイレット株式会社

Profile なかさとみ ゆうさく 中里見 裕作 ★ご質問は YouTubeのコメント欄で 受け付けております。後日回答させていただきます！ ★チャンネル登録よろしくお願いします！ KDDIアイレット株式会社 サービスプラットフォーム事業部 ● アドバンストオペレーションセクション ● アイレット入社歴：3年 ● チーム内での生成AIの開発・業務改善に従事

アジェンダ 01 AIの回答は本当に正しいのか 02 AIの回答を別の AIに採点させる 03 Gen AI Evaluation Serviceの概要と仕組み 04 コンソールで評価させてみた 05 使って分かった注意点とコツ

AIの回答は本当に正しいのか

AIの回答、本当に正しいのか？ • AIは“もっともらしい誤り ”を自信たっぷりに返す（ハル シネーション） • 一見すると自然な日本語でパッと見では気づけない • 利用が広がるほど、全件人手チェックは非現実的 • 「品質を、人手をかけずにどう担保するか」が出発点 5

“品質を測る ”ことの難しさ ①正解が一つに定まらない 答えが何通りもある “作文の採点 ” ②とにかく量が多い 一件ずつ精査していては 追いつかない ③“もっともらしい誤り ” 九割正しく一割誤る回答が 一番危険 必要なのは、単純な正誤判定ではなく 「根拠に基づくか」を見抜く仕組み 6

AIの回答を別の AIに採点させる

AIにAIを採点させる（ LLM-as-a-judge） • 「根拠資料」と「回答」を組にして judge model（審査員役の AI）に渡す • 「資料に書いてあることに基づくか？」を判定 → 外れたら疑いあり • 図は「根拠との整合（グラウンディング）」を採点する例 - 物差しの一つ 8

Gen AI Evaluation Service の概要と仕組み

Gen AI Evaluation Service とは • Google Cloud のAIの回答（ LLM出力）を採点 するマネージド評価サービス • 採点役や仕組みを自前で作らず、標準の物差し を呼ぶだけで評価できる • モデル移行の品質比較・プロンプト改善・エー ジェント評価などに使える ※ 公式対照表では「Gemini Enterprise Agent Platform Evals」へ改称。 コンソールでの評価と adaptive rubrics は Preview（Pre-GA）状態 参考ドキュメント： コンソールを使用して評価を行う、Gemini Enterprise Agent Platform の名称変更 10

• https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-genai-console?hl=ja
• https://docs.cloud.google.com/gemini-enterprise-agent-platform/vertex-ai-name-changes?hl=ja

評価の仕組み :メトリクスの種類 Adaptive rubrics（推奨） プロンプトごとに合否テストを自動生成 例: GENERAL_QUALITY Static rubrics 全データに同じ基準を適用 例: グラウンディング（根拠との整合） 計算ベース 正解データと機械的に照合 例: ROUGE / BLEU カスタム関数 Pythonで独自の評価処理を実装 SDKから利用 まず標準で試し、必要な観点を足す 11

コンソールで評価させてみた

コンソールで評価する（ノーコード） • New evaluationから開始 • CSV/JSONL を読み込む ※最大200行 • 評価候補とメトリクスを選ぶ • 保存先を指定し、 Evaluateを実行 評価の構成画面（公開用サンプル） 13

カスタム指示：採点観点を画面から追加 • 採点観点を日本語で入力 • 観点を織り込んだ合否テストを自動生成 （Adaptive rubrics） • 生成されたテストは人が確認・編集できる 「生成のガイダンス」に採点観点を入力 14

評価結果を読む 全般的な品質 Pass率：86% 一方で グラウンディング （根拠との整合） Score：0 自然に読めても根拠が無い ＝ “もっともらしい誤り ” スコアと採点理由を確認し、 誤答を含む評価結果の例 最終判断は人が行う 15

使って分かった注意点とコツ

単発のスコアではなく傾向で判断する 1回の評価を「正解」にしない • 同じ回答でも、採点スコアは揺れる ○ 採点するのも AI だから • 重要な比較を、単発の結果だけで決めない • 同じ条件で複数回確認し、傾向と判定理由ま で見る 17

見逃しを減らす「安全側フィルタ」として使う 何を危険とみなすかは現場ごとに違う • 標準に加え、現場の観点をカスタムで足せる • 完璧な正誤判定でなく “安全側フィルタ ”として 使う • 誤答が外に出る用途では、見逃しのコストが大 きくなりやすい 18

まとめ 1 AIの品質は、 AIで測れる 完璧な計測ではないが仕組みは作れる。 標準のメトリクスなら、コンソール画面から数クリックで試せる。 2 評価の観点は自分で足せる 何を危険と見做すかは現場ごとに違う。 カスタム指示で採点の観点を画面から追加ができる。 3 完璧を目指さず、安全側に使う 完璧な正誤判定を期待せず見逃しを減らす「安全側のフィルタ」 として使う。 最終判断は人間に残す。 AIに答えを任せるならその答えを “採点する ”仕組みも、セットで育てる。 19

ご清聴ありがとうございました