AIでQAをするために、「品質が高い」を厳密に言語化する

AIで作ったAIプロダクトのQAを、AIと一緒にやりました。 AIでQAをするために、 「品質が高い」を 厳密に言語化する。 馬場 彩子 シナジーマーケティング株式会社 シナマケミートアップ ✖︎ ココカラ勉強会 AI開発の知見LT会 · 2026.11.02

AGENDA 今日の話の流れ PART 1 商談化AIと、このQAの条件 何を、どんな体制でテストしたか PART 2 進め方と、うまくいったこと AIが担った工程と、その成果 PART 3 苦労と、その原因 3つの苦労と、3つの曖昧さ PART 4 反省と、次にやること 始める前に決めること 02 / 23

PRODUCT 商談化AIは、1社ごとに調べて、 その会社向けのメール文面とトークスクリプトを作るAIです。 01 02 03 調べる 仮説を立てる 文面にする 1社ごとの状況 企業に合う切り口 メール・架電トーク 入力 Synergy!の顧客リスト（展示会の名刺、接点のない企業など） 出力 メール文面・トークスクリプト・参照した情報ソース 架電専用カルテ（LPより・架空データ） 03 / 23

SETUP テストの設計から実行まで、 AIと私一人でやりました。 開発 担当1人。開発もほぼAI任せ QA 馬場 ＋ Claude Code 04 / 23

THE HARD PART トークスクリプトは毎回ゆらぎます。 期待値が1つに決まりません。 従来のソフトウェアテスト 商談化AIの出力 入力 → 出力 ＝ 期待値 入力 → 出力 A・B・C… 同じ入力なら、同じ出力。 同じ入力でも、毎回ちがう文面。 期待値と比べて、合否が出せる。 「正解」を1つに決められない。 05 / 23

CHALLENGES 挑戦は2つです。 A B 従来のソフトウェアテストを、 AIと一緒に一人でやる ゆらぐ出力の品質を、 繰り返し検証できる仕組みを作る 機能・非機能のテスト。期待値と比べて合否を出す。 期待値が決まらない出力を、同じ基準で何度でも。 06 / 23

AGENDA 今日の話の流れ PART 1 商談化AIと、このQAの条件 何を、どんな体制でテストしたか PART 2 進め方と、うまくいったこと AIが担った工程と、その成果 PART 3 苦労と、その原因 3つの苦労と、3つの曖昧さ PART 4 反省と、次にやること 始める前に決めること 今ここ 07 / 23

PROCESS 流れは、従来のQAと同じです。 違うのは、ほとんどの工程をAIが担ったことです。 01 02 03 04 05 06 方針 仕様の確認 テスト項目 テストプログラム とデータ 実行 結果の確認 AI＋人 AI AI AI AI 人 必須項目を決める ソースから起こす ケース181件 自動テスト 一部は人 AIが一次評価 未決・宿題・不具合は、工程をまたいでIssueに残す 08 / 23

OUTPUTS 各工程のアウトプット 方針 目的・範囲・必須項目・決定の記録 仕様の確認 ソースから起こした仕様 テスト項目 ケース181件・シナリオ・手順 プログラム 自動テスト・テストデータ 実行 結果の確認 判定のまとめ 実行ごとの記録（commit・合否） 09 / 23

WHAT WORKED — A 挑戦Aは、ほぼ自動でうまく回りました。 102 自動テストを実行 回 16 件 不具合を起票し、直してもらえた 画面のテストはPlaywrightで。お客さまと同じ道（Synergy!にログイン → メニュー）から確かめた。 10 / 23

WHAT WORKED — B 挑戦Bも、仕組みを作るところまではAIに任せられました。 変える モデル・プロンプト → AIが全件を評価 ほぼバッチで回す → 同じ基準で確かめる → また変える 開発時の品質基準と照らす 何度でも回せる だから、モデルやプロンプトを ぎりぎりまでチューニングできた。 11 / 23

AGENDA 今日の話の流れ PART 1 商談化AIと、このQAの条件 何を、どんな体制でテストしたか PART 2 進め方と、うまくいったこと AIが担った工程と、その成果 PART 3 苦労と、その原因 3つの苦労と、3つの曖昧さ PART 4 反省と、次にやること 始める前に決めること 今ここ 12 / 23

STRUGGLE / AMBIGUITY でも、挑戦Bは確認に苦労しました。 原因は、始める前の3つの曖昧さでした。 STRUGGLE 苦労 AMBIGUITY 曖昧だったこと 01 AIのNGは、本当にNG？ 「品質が高い」とは何か 02 AIの評価を、人が読み切れない 人がどう確認するか 03 どこまで終わったか、見えない QAの記録の方法 13 / 23

STRUGGLE 01 AIのNGは、本当にNG？ 14 回 評価の基準を、テストの途中で決め直しました。 AIが作った文面 AIの評価 メールが35文字ごとに改行されている NG → OK（仕様どおり） 「〜が肝になりますが」と言い切っている NG → △（気にならない） NG → △（直してほしいが、止めない） 相手の専門分野を一般論で説いている 例（イメージ）：部品メーカーに「部品選びは難しいですよね」 人が決め直した 14 / 23

AMBIGUITY 01 「品質が高い」の3観点は、 AIが出した案を「それっぽい」と受け入れました。 01 02 03 日本語の質 訴求の軸 読み手の受け取り 日本語として自然か お客さまが抱えていそうな課題に 聞いた・読んだときに、 合わせて、商品を訴求しているか 違和感や不快感がないか 合格ライン 合格ライン 合格ライン 27 / 30件 24 / 30件 24 / 30件 9/17 Claudeが「出力品質の確認方法」を起草。合格ラインは「（案）」 10/7 案どおり採用。Claudeのおすすめも「案どおり」 ここまでは、よかった。 15 / 23

AMBIGUITY 01 基準は、実際の出力を見ながら作るしかありませんでした。 その工程と時間を、最初に見越していませんでした。 AIが3観点を提案 → 「それっぽい」と採用 → AIに評価させる → 「それを そう判定する？」 10/15 「『かもしれません』と推定しているため、外れているかもしれないが問題ない。 △ではなく、丸」 10/19 「『お世話になっております。』は気になるね。なんでだろう。致命的じゃないけど」 約 → 実際の出力を見ながら 基準を作る 8.2 時間 10/15、評価と流し直しに使った時間 （ログから推計） 基準を作る工程と、その時間を、最初から計画に入れる。 16 / 23

STRUGGLE 02 / AMBIGUITY 02 人がどう確認するかも、決めていませんでした。 BEFORE AFTER AIが全件を評価したシート 論点ごとの抜粋を、会話で1件ずつ 全部を読むのは、無理だった。 「ここで見せて。 全部は読まないので、ピックアップして」 確認の方法を設計しておかないと、 人が読めないものができあがります。 17 / 23

STRUGGLE 03 全体の進み具合も、見えていませんでした。 AIがサブエージェントを並行で動かす。画面のテストも、出力の評価も、同時に走る。 そのたびに反応して、確認する。でも…… 馬場さん！問題みつけました！ 馬場さん！問題みつけました！ → 単体テスト？ 画面のテスト？ AIの出力の評価？ 馬場さん！問題みつけました！ 馬場さん！問題みつけました！ どこまで確認できた？ どのケースが、まだ終わっていない？ 18 / 23

AMBIGUITY 03 原因は、QAの記録の方法を決めていなかったことです。 10/13、AIにこう聞きました。 「ちょっと復習しよう。 今、何のテストをして、なにがおわって、なにがおわっていない？」 でも、答えの根拠になる記録が、崩れていました。 10/13 10/14 AIが実行記録を、次の回の前に消していた 古い状態のセッションがシートを書き出し、行が消えた 19 / 23

AGENDA 今日の話の流れ PART 1 商談化AIと、このQAの条件 何を、どんな体制でテストしたか PART 2 進め方と、うまくいったこと AIが担った工程と、その成果 PART 3 苦労と、その原因 3つの苦労と、3つの曖昧さ PART 4 反省と、次にやること 始める前に決めること 今ここ 20 / 23

REFLECTION 反省は、始める前に言語化しきれていなかったことです。 曖昧なところがあると、AIは暴走します。 曖昧だったこと AIはこうなった 01 「品質が高い」の基準 基準に忠実に、NGを積み上げる 02 人がどう確認するか 全件を評価して、人が読めない量を出してくる 03 QAの記録の方法 記録を消したり、上書きしたりする 21 / 23

NEXT ACTION 次にやるなら、始める前に。 01 「品質が高い」を言語化する工程と時間を、計画に入れる 曖昧 01 AIの案を出発点に、実際の出力を見ながら基準を作る。 02 人がどう確認するかを決める 曖昧 02 何を、どの単位で見て決めるか。AIには、抜粋で、読める形で出させる。 03 QAの記録の方法を決める 曖昧 03 何を、どこに、消さずに残すか。どこまで終わったかが、1つの絵で見えるように。 22 / 23

基準も、確かめ方も、記録の残し方も。 AIでQAをするために、 「品質が高い」を 厳密に言語化する。 23 / 23