生成AIにテストを任せて分かった、人間がやるべき3つのこと

149 Views

November 13, 26

スライド概要

Tokyo Test Fest 2026の登壇資料になります。
https://tokyotestfest.com/%E5%B0%8F%E9%87%8E%E7%B4%80%E8%BC%9D/

株式会社デジタルバリュー
https://www.digitalvalue.co.jp/

profile-image

株式会社デジタルバリューは、ITの力で北陸地域をより便利に、より住みやすい地域にしていくために、株式会社CCIグループ(旧:株式会社北國フィナンシャルホールディングス)の一員として2019年に設立されたデジタル企業です!全国各地のIT好きなエンジニアに参画してもらいながらアジャイルで地域のためのデジタルプラットフォームを作り続けています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

生成AIにテストを任せて分かった、人間がやるべき3つのこと Flutter × FigmaMCP × Maestro の実践から Tokyo Test Fest 2026 / 株式会社デジタルバリュー 小野紀輝 Digital Value

2.

私たちの現場 対象 one paretto アプリ 北國銀行が提供する toC アプリ バーチャルカード発行・タッチ決済 Flutter で開発 E2E テスト (Maestro) 39 画面分 実機でアプリを操作。用意しやすさ のため API は mock ※ほかに Unit テストあり テスト チームに QA はいない E2E のテストケースは開発者が それぞれ書き、それぞれレビュー E2E のテストケースは、作成もレビューも開発者が担っている Digital Value

3.

テストケースは人によって違った でも、仕様は Figma に集約していた 課題:テスト設計が属人化 同じ画面でも、書く人によって テストケースが違った テストケースの書き方のルールがあいまい 頼れるのは、書く人の経験か過去のテストケー スだけ レビューする側も「まぁ大丈夫そう」で通して しまった 一方で:Figma に仕様を集約していた デザインドリブンで開発を進めやすくするた め、以前からデザインシステムを導入。Widget をコンポーネント化し、仕様を Figma に集めて きた UI の状態・画面遷移・業務ロジック API 仕様・非機能要件は別の場所で管理 画面の仕様は1か所にそろっていたのに、テストケースの書き方のルールはあいまいだった Digital Value

4.

この Figma を、テストケース作成に使えないか Figma を UI 仕様の単一の正と定め、テストケース作成のルールを決めた Figma 画面の仕様 → FigmaMCP AI が Figma を 読むための接続口 → 生成 AI テストを書く → 実機で照合 その要素が画面に 本当にあるか → Maestro YAML で書く モバイルの E2E Maestro を選んだ理由 実際の画面で確かめるテ ストは捨てられない。で も、手で操作するのは楽 にしたい YAML なので人間も読める ルールの渡し方:Skill としてチームに配る AI は頼むたびに、頼む人によってもやり方が変わる。だからテストの進め方を6つ の工程に分けた ① やらないこと ② 期待値の根拠 ③ 到達の設計 ④ 書く ⑤ 実行・報告 ⑥ 疑う 中身は、これまで人間がやっていたことを言語化しただけ Digital Value

5.
[beta]
結果:作成時間は約7割減、
8割はそのまま採用できた
作成時間
約70% 短縮
手で書いた場合の見積もり
との比較
そのまま採用
8割
生成したテストケースの数
で
外れた2割:× アイコンを位置で押した
# AI の生成: 位置で押す (画面サイズでずれる)
- tapOn: { point: "93%,6%" }
// Flutter: 読み上げ用の Semantics で名前を付ける
Semantics(identifier: 'appBarClose',
child: IconButton(icon: Icon(Icons.close)))
# Maestro: 名前で探して押す
- tapOn: { id: "appBarClose" }
レビューのばらつきも大きく減少:手順書で書き方が揃い、レビューで見る場所が揃った
ただし、採用の基準は「動いて通るか」と「書き方の作法」まで
テストが何を確かめているかは、二の次になっていた
Digital Value
6.

PASS していたテストを疑わせたら、 壊れても落ちないテストが見つかった 工程 ⑥「疑う」:PASS=OK としていたテストを、文脈を共有しない別セッションの AI に「対象が壊 れていたら、このテストは落ちるか」の目で読ませた 17 / 39 画面 壊れても落ちない 画面が切り替わらなくても PASS 確認した文字列が、元の画面にもあった 確認が1つも動かず PASS 「表示されていたら確認」が全部スキップされた (③で詳しく) 目的はデグレの検知なのに、デグレを起こしても落ちない さらに8割は「書かれたテスト」の数。状態遷移の異常系など、書かれなかった観点は入っていない ここを詰める中で、人間が手放せない判断が3つ残った Digital Value

7.

| 人間がやること① テスト観点の網羅性判断 AI が得意なこと Figma に書かれている画面と操作を、そのま まテストにする AI ができなかったこと どこが壊れると影響が大きいかで、見る観点 に重みをつけること 実例:利用限度額の設定画面 (左が Figma のデザイン) カードで使える上限を1回・1日・1週間・1か月の4つで設定し、「登録する」で4つの値を API に送る。テストは、送られた値が入力どおりかを照合する 照合していた値 1回✓ 1か月✓ 1日× 1週間× 1日・1週間が間違って送られても、PASS する 書く AI は抜かし、⑥疑うの AI が見つけた。限度額は、不正利用されたときの被害の上限。1つでも違えば 損失に直結すると判断し、4つ全部を照合させたのは人間 人間がやること = どこが壊れると影響が大きいかで、見る観点を決める Digital Value

8.

| 人間がやること② 期待値(仕様)の妥当性検証 期待値 = テストが「正しい」と判定するときの基準。その基準そのものが怪しいことがあった 基準が無い: 遷移先の画面で何を確認すれば正解か、Figma に書かれていなかった 基準同士が食い違う: Figma のエラー文言と、実装のエラー文言が違 っていた AI 食い違いを見つける → AI (⑤⑥の手順書のルール) 直さずに報告して止まる AI は親切なので、通るように 実装かテストを直してしまう → 人間 どれが間違いかを決める 人間がやること = 仕様・実装・テストのどれが間違っているかを決める 限界:実装から取った期待値は、間違いごと固定される → 仕様から先に書かせる方式を検討中 Digital Value

9.

| 人間がやること③ テスト間の依存関係・実行順序の設計 ホーム画面にたどり着くだけで、これだけの前提があった 通知の許可 OS のダイアログ → 追跡の許可 OS のダイアログ → オンボーディング 起動直後の案内3ページ → 認証とパスコード ログインと4桁の設定 → 初回チュートリアル ホームに着いてから3ページ → やっと検証 テスト本体 毎回は重いので省きたくなり、前のテストの残りに頼り始める。それがテスト同士の依存 AI が見ているもの いま書いている1本のテストと、その画面のデ ザイン 教えないと AI に見えないもの 誰が前提を作り、誰が消すか。走らせる順番で 結果が変わること 人間がやること = 何を共有し、何を毎回つくるかの線引き Digital Value

10.

| 人間がやること③の実装 依存を「設計」に変えた 結論:順番で守るのではなく、順番に依存しないようにした 再利用:前提を1つの部品にまとめる 起動からメニュー画面までを1つの部品にし、各 テストの冒頭で呼ぶ。ほとんどのテストが使う 独立性:共有する前提と毎回つくる前提を分ける 端末の初期設定は1回作って共有。画面ごとのデ ータは API の mock で毎回作り直す 検証:同じテストを続けて2回、両方通って合格 たまたまを除き、2回目だけ落ちるなら1回目の 残りが邪魔=前提を自分で作れていない 実行順の入れ替えまでは、まだ 自動化の範囲:届かない所は分ける ワンタイムパスワードが要る画面などは設計だけ して手動へ 4つとも手順書に書き、振り分けまで AI に任せた。 人間が決めたのは、共有と毎回の線引き、順番に依存させない方針 Digital Value

11.

| 人間がやること③の失敗談 前提をあいまいしたら、確認がスキップされた 例:メニュー画面の「リアルカードの解約」ボタン リアルカードを持つ人にだけ、画面の下の方に出る。テスト用 アカウントがカードを持っているかは、その時の状態次第だった やっていたこと どちらでも通るように「ボタンが表示されてい たら押して確認、無ければスキップ」と分岐し た ① Maestro の「表示されていたら」は、スクロール 前に見えている範囲だけで判定する ② ボタンは画面の下の方 → 常に「無い」と判定 ③ カードを持っていても毎回スキップ → 何も確かめ ずに PASS 変えたこと 前提はテスト側で決めて作る(カードあり/な しを mock で固定)。そのうえで一本道で書く 分岐を残すなら、直後に条件なしの確認を置 く。前提が違うなら、そこで落ちてくれる方が いい Flutter でも同じ:「要素があれば expect」と書くと、要素が 無いとき何も確認せず PASS する 前提を決めずに条件分岐で吸収すると、テストは壊れても落ちない Digital Value

12.

まとめ:AI に任せても、人間に残った3つの判断 ① 網羅性 何をテストするか AI:書かれた画面と操作をテストに する 人間:どこが壊れると影響が 大きいかで観点を決める ② 期待値 何が正しいか AI:食い違いを見つけて、報告で止 まる 人間:どれが間違っているかを 決める ③ 依存・順序 どう独立に走らせるか AI:前提の部品化と、自動・手動の 振り分け 人間:共有する前提と毎回つく る前提の線引き どれも、テスト1本の中には書かれていない テストの「外」の判断は、人間が持つ AI に渡そうとして初めて、その境目が見えた Digital Value

13.

ありがとうございました 小野紀輝 おの としき 株式会社デジタルバリュー / シニアデベロッパー 北國銀行が提供する one paretto を Flutter で開発 赤い猫のアイコンが目印です これからアプリを育てていきたい方 Join お待ちしています テストを書くのは AI に任せた。でも「何を・何が正しいか・どう走らせるか」は、人間が決めている Digital Value