---
title: 「自動プレイQA」の限界への挑戦～画面と音で判断する「自律プレイAI」によるテストとシフトレフト [RE:2026 2026年10月2日登壇]
tags:  #capcom #カプコン #カプコン技研 #re engine #re2026capcom #ゲーム開発 #ゲームエンジン #自動デバッグ #aiエージェント  
author: [カプコン技研](https://image.docswell.com/user/CAPCOM_RandD)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DEYDVLDYEM.jpg?width=480
description: 2026年10月にカプコンが開催した「CAPCOM オープンカンファレンス RE:2026」の講演資料です。  ■ 講演映像 https://www.youtube.com/watch?v=ZjUEaWQZfz0&amp;list=PLD_N6X6tKlCM
published: November 20, 26
canonical: https://image.docswell.com/s/CAPCOM_RandD/ZPR1YG-RE2026-WEST-3
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DEYDVLDYEM.jpg)

⼤規模3Dゲーム開発を⽀える
「ニューロシンボリックAI」の実践
阿部 ⼀樹
野村 直弘
平⽥ 雄⼤


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VJN6M46RJ8.jpg)

⼤規模3Dゲーム開発を⽀える
「ニューロシンボリックAI」の実践
阿部 ⼀樹
野村 直弘
平⽥ 雄⼤
お集まりいただきありがとうございます。
本⽇は『⼤規模3Dゲーム開発を⽀える「ニューロシンボリックAI」の実践』と題しまして、カプコンにおける最先端の「先回りデバッグ⼿法」について紹介いたします。
題材としては『モンスターハンターストーリーズ3』を取り上げます。
本⽇はよろしくお願いいたします。
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YE9LNQLZ73.jpg)

登壇者紹介
阿部 ⼀樹
2007年カプコン⼊社。
『モンスターハンターストーリーズ3』ではAIシステムのテクニカルディレクター。
『モンスターハンターワイルズ』ではリードAIエンジニア。AIや先端技術をタイトル横断で展開する
基盤群のTDとして、多くのプロジェクトに携わっている。
野村 直弘
2016年カプコン⼊社。
『モンスターハンターストーリーズ3』ではシニアAIエンジニア。『モンスターハンターワイルズ』
ではAIエンジニア。現在はタイトルを横断した技術的取り組みを推進。
平⽥ 雄⼤
2022年カプコン⼊社。
『モンスターハンターストーリーズ3』ではリードゲームデザインエンジニア、
『モンスターハンターワイルズ』ではAIエンジニア。QA効率化や⾃動化ソリューションの開発に従事。
2
まず簡単に⾃⼰紹介です。
私たちはタイトル横断でAIや先端技術を⽤いて基盤開発を⾏っている組織です。
私、阿部はその中でAIアーキテクチャ全体のテクニカルディレクション、野村と平⽥は製品ビルド上で動く⾃動プレイシステムの設計・実装を中⼼に担当しています。
本⽇はこの3名で、知覚から⾏動決定、そして運⽤までを通してご紹介します。
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GE8XKGWYJD.jpg)

⽬次
• 背景︓QA/QCの限界と「先回り」デバッグ⼿法
• ⾃動プレイエージェント︓ニューロシンボリックAIの基礎（System1）
• ⾃動プレイエージェント︓LLM/RAGによる上位認知（System2）
• 先回りデバッグを実現するAIエージェント紹介
• まとめ
3
本⽇の流れです。
まず導⼊としてゲーム開発の現場が抱える課題についてお話しします。
続いて、⾃動プレイエージェントの、反射的な⾏動を担うSystem1として、ニューロシンボリックAIの基盤をご紹介します。
その後、LLMやRAGによる上位認知層であるSystem2について説明します。
後半では実践事例として、先回りデバッグを⾏う各種エージェントと運⽤事例をご紹介します。
最後に全体のまとめを⾏います。
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LEL8ZGN97R.jpg)

4
まずは、なぜ現在のゲーム開発においてAIを活⽤した⾃動プレイやQA⾃動化が必要になっているのか、その背景をご説明します。
技術の話に⼊る前に、まず現場が抱えている課題を共有したいと思います。
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JM6VQXVEW.jpg)

背景︓ゲームの圧倒的な規模感
広⼤なフィールドと環境
膨⼤なキャラクター・
装備バリエーション
膨⼤なストーリーと⽂脈
[環境パターン] × [装備・編成パターン] × [進⾏度フラグ] = 天⽂学的なテストケース
5
現代のAAAタイトル、特に広⼤なフィールドを有するRPGの開発規模は圧倒的です。
時間や気象によって変化する「環境パターン」、無数の「装備・編成パターン」、そしてフラグ管理によって分岐する複雑な「ストーリーと⽂脈」。
これらを掛け合わせると、テストケースはまさに「天⽂学的な数字」に膨れ上がります。
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PJRP28NWE9.jpg)

私たちのミッションと、その裏にあるジレンマ
「⾯⽩さ」を限界まで追求したい
「⼗分な品質」を保証したい
リリース直前までゲームバランスを
調整し続けたい。⼿触り・演出・難易度など、
最後の⼀滴まで作りこみたい
バグのない品質を担保したい。
だが網羅すべきチェックは天⽂学的で、
調整のたびに増殖する
→ 両⽴には開発とQAのサイクルを”共に⾼速で”回す必要がある
⼈⼒で全網羅するデバッグは⾁体的にも精神的にも不可能になり
AIなどの補助が必要不可⽋に
6
この規模感は、プレイヤーにとってはリッチなゲーム体験をもたらします。
そして、この体験を世界中のユーザーに最⾼の形で届けるために、私たちは⾯⽩さを限界まで追求したいと考えています。
しかし作りこめば作りこむほど、デバッグでチェックすべき物量も膨れ上がります。
そして調整のたびにこれらを正しくチェックしなければ、⼗分な品質を保証することができません。
私たちが解決したかったのは、このリッチなゲーム体験とゲーム品質の両⽴です。
しかし、これを⾏うには⾁体的にも精神的にも負荷が⼤きく、もはや⼈⼒だけでは対応できない領域に到達しています。
そこでAIによる補助が必要不可⽋になってきています。
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PEX3D8NVJX.jpg)

解決策︓プロアクティブ（先回り）への移⾏
開発者の作業と並⾏でAIが課題を予測し⾃動チェックを実施、課題の早期発⾒と修正案の提⽰を⾏い、
問題が⼩さいうちに即時修正︕開発者を創造性の⾼い業務に集中させる環境をつくる︕
実装・コミット
開発者が忘れる前に
修正提案（先回り）
AIが課題を予測
AIが⾃動調査
7
この課題に対する解決策が、リアクティブからプロアクティブ、すなわち「先回り」への移⾏となります。
開発者がコードやアセットをコミットした瞬間に、AIが裏側で課題を予測して⾃律的にチェックを実⾏します。
不具合が⼩さく、かつ開発者の記憶が鮮明なうちに「先回りして修正案を提⽰する」ことで、開発者が創造的な業務にのみ集中できる環境を構築しました。
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/3EKYXKN5JD.jpg)

カプコンのAIエージェントの
紹介動画をご覧ください
8
実際にこのプロアクティブなAIエージェントが、どのようにゲームを理解し、⾃律的に動いているのか、まずはこちらの紹介動画をご覧ください。
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L7395ZV175.jpg)

紹介動画です。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/87DGDR8K7G.jpg)

End-to-Endの⾃動化と階層型エージェント
ベテランのリードスタッフのように⾃律的に動作するエージェントを構築し、下記を⼀気通貫で⾃動実⾏
⽬標達成までの計画を⽴てる
課題を計画に基づき調査する
課題データを収集する
データを分析して課題を特定する
課題と原因をレポート化する
修正⽅法を提案する
10
動画でご覧いただいた通り、我々のAIエージェントは、単なるマクロやスクリプトによるテストではありません。
ベテランのリードスタッフのように、⾃ら「⽬標達成のための計画」を⽴て、アセットを調査し、データを分析して課題を特定。
さらに原因をレポート化して「修正⽅法の提案」までを⼀気通貫（End-to-End）で⾃動実⾏する、⾃律的なシステムです。
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VJP3XW83E8.jpg)

AIエージェントの作業の流れ
AIエージェントは作業の更新内容を検知し⾃律的に課題抽出を⾏う
課題特化AIエージェント
汎⽤AIエージェント
ビジュアル破綻
原因分析
⾃動プレイ計画
作業の更新
プレイログ収集
データ分析
AIが製品ビルド及び
開発ビルドを⾃動プレイ
更新を検知
データ分析計画
アセット解析
データ分析
AIが内製エンジン
(RE ENGINE)上で作業
クラッシュ
処理負荷異常
テキスト分析
メモリ負荷分析
画像類似分析
レポート
作成
修正⽅法
提案
利⽤者
通知
11
これを実現するために私たちが構成したシステムの全体図です。
作業の更新を検知すると、まず「汎⽤AIエージェント」が起動し、⾃動プレイやアセット解析のプランニングを⾏い、ログを収集します。
そこで得られたデータを「課題特化AIエージェント」へと引き渡し、ビジュアル破綻、クラッシュ、処理負荷、テキスト、
メモリなどの多⾓的な分析を動的に実⾏、最終的に⾃動レポートを⽣成してユーザーに通知します。
本⽇は、この中のコア機能である「製品版ビルドでの⾃動プレイ⼿法」と、
課題特化AIエージェントとして「処理負荷異常」や「ビジュアル破綻」について説明していきます。
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2EV4L8NNJQ.jpg)

12
ここから第⼀の技術テーマです。
私たちが構築した⾃動プレイエージェントにおける、ニューロシンボリックAI基盤についてご説明します。
この章では、⼈間でいう反射に近い処理を担うSystem1について解説します。
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/57G1X5K5EL.jpg)

ニューロシンボリックAIとは
Neural（知覚）
Symbolic（論理）
深層学習による柔軟な知覚。
画像・⾳といった⽣の感覚情報から、
ノイズや⾒た⽬の変化に強く意味を汲み取る。
汎化性能が強み。
ルールベースによる堅牢な論理と説明可能性。
状態をシンボルに抽象化し、機能単位で
モジュール化。影響範囲を局所化でき
仕様変更への追従が容易なことが強み
知覚 = CNN（YOLO等）で低次元の状態ベクトルへ抽象化し、
⾏動決定 = ルールベース（ビヘイビアツリー等）へ委ねる。
Deep Learning の汎化性とルールベースの堅牢性を両⽴する。
13
ニューロシンボリックAIとは、深層学習とルールベースを組み合わせたアプローチです。
深層学習は知覚が得意です。画像や⾳から状況を理解できます。
⼀⽅でルールベースは論理的な判断が得意で、説明可能性が⾼く、仕様変更への追従も容易という特徴があります。
このAIでは深層学習で状況を認識し、その結果をシンボル化してルールベースで⾏動を決定します。
これによって柔軟性と保守性を両⽴しています。
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4EQD8ZNLJP.jpg)

全体像︓Dual Process Theory の実装
System 1 - 即応的・反応的（ミリ秒オーダー）
知覚(Neural)
CNN: YOLO / OCR / テンプレート
/ ⾊ / ⾳響
⾏動決定(Symbolic)
即応的⾏動選択
状態ベクトル→ビヘイビアツリー
状況に応じたBTノードの即時実⾏
System 2 - ⻑期的・戦略的（秒〜数⼗秒オーダー）
上位認知(LLM/VLM)
画像群を意味理解し⻑期戦略を⽣成
外部知識（RAG）
企画書・攻略仕様をベクトルDBで参照
動的制御
BTの優先度を⾃律オーバーライド
14
システム全体は⼆重過程理論を参考に設計しています。
System1はミリ秒単位で反応する即応層です。
知覚を担当し、素早い⾏動を決定します。
⼀⽅でSystem2は秒単位で動く戦略層です。
⻑期的な判断や計画を担当し、System1を補助します。
この⼆層構造が全体の基盤になっています。
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KJ4Z23G571.jpg)

基盤システム︓ユーザーと同じ環境で操作するループ
ゲーム実⾏環境(製品ビルド)
AI SYSTEM
画⾯と⾳情報
状況認識AI
⾏動決定AI
ゲームパッド操作
・製品ビルドからキャプチャボード経由で映像（OpenCV）と⾳声（NAudio）を取得
・状況認識AIが推定 → ⾏動決定AIへ。リモートゲームパッド機能で操作信号を⼊⼒
・「観測 → 判断 → 操作」のフィードバックループを、⼈間と同じ⼊出⼒で構成する
15
AIは⼈間と全く同じ条件でゲームをプレイします。
キャプチャボード経由で映像と⾳を取得し、状況認識AIへ⼊⼒します。
その結果を⾏動決定AIが解釈し、ゲームパッド⼊⼒として出⼒します。
観測。判断。操作。
このサイクルを⼈間と同じ⼊出⼒で実現しています。
これが製品版対応を可能にした基盤となります。
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LE1RM1D2EG.jpg)

16
ここから状況認識AIについて説明します。
まずAIが何を⾒てゲーム状態を理解しているのかを紹介します。
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GEW138Y272.jpg)

状況認識AI︓画⾯から何を読み取るか
今どこにいるか
何が選択されているか
残りの体⼒は︖
どのUIが出ているか
どのモンスターか
シンクロラッシュか
暗転中か
17
AIは⼈間と同じように画⾯から情報を取得します。
現在地はどこか。どのモンスターと戦っているか。体⼒はどれだけ残っているか。どのUIが表⽰されているか。ロード中なのか。
こうした情報を構造化して取得し、後続の判断に利⽤しています。
これらの情報をどうやって認識しているか、その⼿法を紹介します。
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/47ZPV8X4E3.jpg)

代表的な認識技術
名称
内容
主な⽤途
特定領域のテキストを読み取る
⽂章の有無
数値や名前の取得
事前に⽤意した画像素材と⼀致する箇所を探す
アイコンの認識
UIの模様の認識
⾊判定
特定領域の⾊を⾒る
暗転したか
選択項⽬の判定
体⼒の推定
VLM
「画像+プロンプト」による、画⾯の意味理解
複雑な画⾯の理解
物体検知(YOLO)
画⾯内のオブジェクトの検出（バウンディング
ボックスとクラス分類）
オブジェクトの判定
⾳検知への応⽤
OCR
テンプレートマッチング
これらの技術をセンサーとして使⽤して状況を認識
状態ベクトルに落とし込みビヘイビアツリーに組み込みを⾏っている
18
状況認識では⽤途に応じて認識技術を使い分けています。
⽂字認識にはOCR。アイコン認識にはテンプレートマッチング。
状態判定には⾊判定。曖昧な画⾯理解にはVLM。
物体検出にはYOLOを利⽤しています。
重要なのは、⼀つの技術ですべてを解決しようとしていない点です。
最も適したセンサーを組み合わせることで、⾼精度かつ実運⽤可能な認識基盤を構築しています。
18


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YJ6M5P4G7V.jpg)

認識⼿法① OCR（⽂字認識）
特定領域のテキストを読み取る
数値や名前の取得に最適（UIの状況認識）
⽂章の有無の判定ができる（固定⽂⾔を検知し画⾯状態を判断）
⻑所
+ 速度が⾼速
+ 事前準備が不要で⼿軽
短所
- フォントに依存
- UI変更に弱い
例︓武器の名称からどこが選択されているかわかる
19
まずはOCRです。
OCRはシンプルで利⽤頻度の⾼い認識⼿法の⼀つです。
ゲーム中には⼤量の⽂字情報がありますが、これらをOCRを⽤いて取得し利⽤します。
例えばこの画⾯では、アイアンソードという⽂字列を読み取ることで、
現在選択されている武器を判定することができます。
⾼速で実装しやすいことが⼤きな利点ですが、フォント変更やUI変更には⽐較的弱いという特徴があります。
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GJ5ZYKQXE4.jpg)

認識⼿法② テンプレートマッチング
⽤意した画像素材が、ゲーム画⾯のどこに存在するかを読み取る
⼊⼒素材の表⽰有無で、どのUIが表⽰されているかが分かる
⽂字以外の判定が可能（アイコン認識、UIの模様、カーソル位置）
⻑所
+ 速度が⾼速
+ ⽂字以外も判定可能
短所
- 画像の事前準備が必要
- UI変更に弱い
例︓事前に⽤意したデータと⼀致すればUIが開いていることがわかる
テンプレートマッチングの
⼊⼒素材
20
次にテンプレートマッチングです。
事前に登録した画像と、現在の画⾯を⽐較して⼀致箇所を探します。
アイコンやカーソル位置、UIパーツの認識に⾮常に有効です。
OCRでは読むことができない図形的な情報を、テンプレートマッチングでは取得できるため、UI制御には⽋かせない技術となっています。
⼀⽅で画像素材の準備が必要であり、UI変更には追従が必要です。
20


# Page. 22

![Page Image](https://bcdn.docswell.com/page/LE395ZV4E5.jpg)

認識⼿法③ ⾊判定
画⾯の特定領域の⾊を⾒る/特定の⾊が画⾯のどこにあるか調べる
画⾯が全体的に暗い → 暗転・ロード画⾯かどうかが分かる
選択中の項⽬の⾊ → カーソルがどの位置にあるのかが分かる
⻑所
+ 速度が⾼速
+ 最もシンプル
短所
- UI変更に弱い
例︓画⾯から16ピクセルを選び、輝度が⼀定以下なら暗転と判定できる
暗転していない
暗転中
21
最もシンプルな認識⼿法が⾊判定です。
特定領域の⾊を観測するだけですが、意外と活⽤範囲は広いです。
例えばロード中の暗転判定やカーソル位置判定、HP警告状態の検知などです。
計算コストが極めて低いため、⾼頻度で利⽤する補助センサーとして活⽤しています。
21


# Page. 23

![Page Image](https://bcdn.docswell.com/page/8EDGDR85EG.jpg)

認識⼿法④ VLM（視覚⾔語モデル）
VLMに「画像+プロンプト」を⼊⼒し、構造化出⼒で統合的に判断
プロンプトで役割を切り替え︓シーン分類/UI認識/初回設定画⾯など
意味理解ができるため、UIの変化に強い（座標決め打ちが不要）
⻑所
+ 意味理解に強い
+ UI変化に強い
短所
- 応答に時間がかかる
- コストがかかる
例︓VLMによるシーン分類タスク
シーン分類タスクの結果
起動ロゴ画⾯
タイトル画⾯
初回設定画⾯
規約同意画⾯
レンジャーエディット画⾯
22
続いてVLMです。
OCRやテンプレートマッチングは正確ですが、画⾯構成の変更に弱いです。
そこで利⽤したのがVLMです。VLMは画像を意味として理解できます。
例えば「今はタイトル画⾯なのか」「初回設定画⾯なのか」といった分類を柔軟に⾏え、意味理解が必要な場⾯では⾮常に強⼒な⼿段となります。
応答速度の問題がありますが、即応性が不要な場⾯では特に活⽤できます。
22


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V7P3XW8DJ8.jpg)

認識⼿法⑤︓視覚センサー(YOLO)によるリアルタイム物体検出
画⾯内のプレイヤー・モンスターなどをリアルタイムに認識する1段（one-stage）物体検出
ミリ秒単位の判断が必要な場⾯では、⾼速なCNNを主軸センサーとして利⽤
検出結果（クラス・位置・サイズ・信頼度）を状態ベクトルの基礎情報として使⽤する
例︓物体検出で対象が画⾯のどこにいるか調べる
23
そしてSystem1の中核となるセンサーがYOLOです。
YOLOはリアルタイム物体検出モデルです。
事前にモンスターやプレイヤーの画像を使ってAIに学習させておくことで、
画⾯中のモンスターやプレイヤーを⾼速に認識できるようになります。
ゲーム中はリアルタイムでモンスターが動き、⼀瞬の判断が必要な場⾯があるため、
即応性が必要な場⾯ではYOLOを主⼒センサーとして利⽤しています。
YOLOでは検出結果として、種類、位置、⼤きさ、信頼度を取得できます。
23


# Page. 25

![Page Image](https://bcdn.docswell.com/page/2JV4L8NG7Q.jpg)

CNNの基礎︓畳み込みで”特徴”を抽出する
⼊⼒
畳み込み層
プーリング層
全結合層
出⼒層
カーネル
畳み込み
プーリング
畳み込み層︓⼩さなカーネルを画像上で⾛査し、エッジ・模様などの局所特徴を抽出する
プーリング層︓プーリングを繰り返すことで空間解像度を落とし、平⾏移動に頑健な表現を得る
全結合層︓抽出した特徴から最終的な分類を⾏う
24
YOLOについては少しだけ内部構造に踏み込みます。
まずYOLOの⼟台になっているのがCNNです。
CNNは画像から特徴を抽出するためのニューラルネットワークです。
畳み込み層によってエッジや模様を抽出し、プーリング層によって重要な特徴を残しながら情報量を圧縮します。
そして最終的に分類や認識を⾏います。
YOLOもこの仕組みを利⽤して画像理解を実現しています。
24


# Page. 26

![Page Image](https://bcdn.docswell.com/page/5EG1X55DJL.jpg)

YOLOのネットワーク構成
図は You Only Look Once: Unified, Real-Time Object Detection (Redmon, 2016)から引⽤
YOLO : 画像全体を⼀度だけ⼊⼒し、物体の位置とクラスを同時に推論する24層の畳み込み層と
2層の全結合層から構成されている。複数の畳み込み層を通じて特徴抽出を⾏い、特徴マップへ変換される
全結合層により物体の位置情報とクラス情報を同時に予測する
25
YOLOは「画像全体を⼀度だけ⾒る」という考え⽅で設計されています。
従来⼿法のように候補領域抽出と分類を別々に⾏うのではなく、1回の推論で物体位置とクラスを同時に求めます。
その結果として⾼速な推論性能を実現しています。
この⾼速性がリアルタイムゲームとの相性を⾮常に良くしています。
25


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4JQD8ZZX7P.jpg)

YOLOの出⼒と学習︓グリッド・損失関数
⼊⼒画像を S×S(通常は7×7) の単⼀グリッドに分割し、
各セルでB個のバウンディングボックス（座標とサイズ x, y, w, h, 信頼度C）と、クラスの条件付き確率を予測
損失関数はすべて⼆乗誤差の和として計算される
「位置の誤差」「信頼度の誤差（物体あり・なし）」「クラス分類の誤差」の
,𝜆
組み合わせで構成され、物体の有無による不均衡を防ぐための重みづけ(𝜆
)が⾏われる
予測出⼒（概念）
𝑝𝑟𝑒𝑑
𝑥 ,𝑦 ,𝑤 ,ℎ ,𝐶 ,𝑥 ,𝑦 ,𝑤 ,ℎ ,𝐶 ,𝑃
Box1
,𝑃
,…,𝑃
クラス確率
Box2
損失関数
𝐿𝑜𝑠𝑠
𝐿
𝐿
𝐿
𝐿
λ
𝐿
𝐿
λ
𝐿
𝐿
: 枠のズレ
: 物体がある場所の⾃信度のズレ
: 物体がない場所の⾃信度のズレ
: 種類のズレ
26
YOLOでは画像を格⼦状に分割しています。
各セルが担当範囲の物体を予測します。
学習時には位置誤差、信頼度誤差、クラス分類誤差を組み合わせて損失関数を構成します。
背景と物体の数に⼤きな偏(かたよ)りがあるため、重み付けを⾏いながら安定的に学習させています。
この考え⽅が⾼速かつ⾼精度な検出につながっています。
26


# Page. 28

![Page Image](https://bcdn.docswell.com/page/K74Z2332E1.jpg)

評価指標︓IoU(重なり度) と mAP@50
重なり度（Intersection over union）
正解
予測
IoU=10%
𝐼𝑜𝑈
IoU=50%
IoU=90%
𝐴∩𝐵
𝐴∪𝐵
𝐴︓予測BBox
𝐵︓正解BBox
mAP@50︓IoU ≥ 0.50 を正解とみなしたときの平均適合率（Mean Average Precision）
・学習ステップ毎に検証データでmAPを算出。
・検証データのmAP推移を監視し、過学習を防⽌
・mAPが⼀定期間改善しない場合は Early Stopping を適⽤し、効率的に⾼精度モデルを獲得
27
学習したモデルの品質評価にはIoUとmAPを使⽤しています。
IoUは予測ボックスと正解ボックスの重なり具合です。
mAPは検出性能全体を表す代表的な指標です。
私たちは学習中にこれらを継続的に監視し、過学習を防ぎながら最適なモデルを選定しています。
27


# Page. 29

![Page Image](https://bcdn.docswell.com/page/LJ1RM11KJG.jpg)

学習データの⾃動⽣成パイプライン
ゲームエンジンから学習データの⾃動収集
重なったキャラを⾃動除外
学習に必要な⼤量のデータをゲームエンジンから
⾃動的に撮影。3D空間上に各キャラを配置。
コリジョンをスクリーン座標へ透視投影し、
BBoxラベルを⾃動的に付与する。（⼈⼿アノテーション不要）
スクリーンをグリッド化し、
Zバッファに基づく距離ソートで重なり度合いを計算。
体の⼤半が隠れたキャラを除外し、精度をあげる。
データ拡張（Augmentation）
学習運⽤
Mosaic（4枚をランダム合成）、
Scale / Translate / Flip / Mask（Cutout）、
HSV（⾊相調整）など幾何・⾊彩の拡張で頑健性を⾼める。
訓練80% / 検証20%に分割。
検証Lossの乖離を監視し、
mAP@50で精度を測定。頭打ちでEarly Stopping。
ゲームエンジンから学習データを収集する仕組みにより、
最新のデータに追従できるようになった。
28
次は学習データの⾃動⽣成パイプラインについて説明します。YOLOの学習には⼤量のデータが必要になります。
それらを⼿作業で収集すると、データ作成だけで⼤量の時間を消費することが予想できました。
またゲーム開発ではマスターアップするまで、データの調整が⾏われることが常であり、
その調整毎にデータ収集をすることは到底できない作業となります。
そこでエンジン上で撮影とアノテーションを⼀括で⾃動に⾏う機能を実装しました。
ゲームエンジン上で、各キャラを配置し、キャラが持っているコリジョンを⽤いてBBoxラベルを付与します。
キャラが重なっている場⾯では、Zバッファに基づく計算から、体のほとんどが隠れているキャラを除外し精度を上げています。
さらに実際のゲームプレイには状況に応じた様々な⾒え⽅が発⽣します。
そのため様々なデータ拡張を⾏い学習データに利⽤します。
これらの⾃動撮影とデータ拡張により、最新のデータで常にYOLOによる検知ができるようになりました。
28


# Page. 30

![Page Image](https://bcdn.docswell.com/page/GJW1388PE2.jpg)

数理的⼯夫①︓BBoxからの距離推定（線形回帰）
課題︓単眼画像から奥⾏きを知りたい
意思決定では対象との相対距離（特に奥⾏き）が重要。
製品ビルドでは内部座標を参照できず、単眼の画像から推定するしかない。
直感︓対象が⼩さく映る = 遠い
⾒かけ上のサイズの逆数が距離に概ね⽐例するという幾何を、
軽量な線形回帰で較正する。
重い深度推定を毎フレーム回さず、計算コストを抑えて距離を測れる。
スケール逆数の線形回帰
𝑑
𝑎
1
𝑠
𝑏
𝑠 ︓BBoxのスケール（⾒かけの⼤きさ）
𝑎, 𝑏︓回帰で較正する係数
29
ここからはカプコンで⾏った、独⾃の⼯夫について紹介します。
ゲーム中では検出対象のオブジェクトとの距離が⾮常に重要になります。
しかし製品版では内部座標を参照できません。
そこでYOLOが検出したバウンディングボックスの⼤きさから距離の推定を⾏いました。
⾒かけ上、⼩さく⾒えるほど遠いという幾何学的な関係を利⽤しています。
スケール逆数の線形回帰から距離を求めています。
深度推定モデルを使わずに実装できるため、⾮常に軽量な⽅法です。
29


# Page. 31

![Page Image](https://bcdn.docswell.com/page/4EZPV886J3.jpg)

数理的⼯夫②︓聴覚センサー（⾳の画像化）
⾒えないところ（背後・障害物の裏）からの攻撃予兆を
「⾳」で捉える⾳声をメルスペクトログラムに変換
⾳声 x(t)
STFT
(短時間フーリエ変換)
メル尺度へ変換
メルスペクトログラム
これを”⼆次元画像”として扱い、予兆⾳をYOLOで時間・周波数のBBoxとして検出する
→ 画像系の検出資産を転⽤
アイルーの声
モンスターの声
周波数→メル尺度（⼈間の聴覚を模倣）
𝑋 𝑡, 𝑓
𝑚
𝑆𝑇𝐹𝑇 𝑥 𝑡
2595 log
1
𝑓
700
30
YOLOに対する⼆つ⽬の⼯夫は聴覚についてです。
⼈間は背後など⾒えないところに対しては、⽬ではなく⾳で情報を取得しています。
それをAIでも⾏えるようにしました。
⾳声を短時間フーリエ変換でスペクトログラムにし、⼈間の聴覚特性を模倣して、式のとおり周波数をメル尺度にマッピングします。
こうして得たメルスペクトログラムを2次元画像として扱うと、予兆⾳を時間と周波数の平⾯上のバウンディングボックスとしてYOLOで検出できるようになります。
視覚で培った検出資産を、そのまま⾳に転⽤できるのがこの⼯夫の⾯⽩いところです。
30


# Page. 32

![Page Image](https://bcdn.docswell.com/page/Y76M5PPLEV.jpg)

聴覚センサーの精度向上とデータ品質管理
ラベル最適化
⼀律にラベル設定すると余⽩が⽣まれ精度が下がる。
振幅が閾値θ_ampを超え、持続時間ΔtがT_durを
上回る区間に限定して付与する。
⾳響特有のノイズ拡張
ホワイト/ピンクノイズ重畳・
Time Shifting・Mixup（異⾳混合）で、
環境⾳に紛れた予兆⾳へのロバスト性を確保する。
専⽤ビューアで品質管理
⾳声は画像化しても⽬視判定が困難。
そこで波形表⽰+ラベル単位の部分再⽣機能を実装し、
不良データを⾼速に除去できる環境を整備する。
31
⾳声認識でも品質管理は重要です。
YOLOによる⾳声認識でも⾼い精度を出すために、いくつかの⼯夫をしています。
まずはラベルの付け⽅を最適化。
不要な余⽩を除去し、⾳声として重要な部分の特徴にフォーカスするようにしています。
さらにノイズ付加や時間シフトなども⾏い、データ拡張を⾏っています。
また⾳は⽬視確認しづらいため、専⽤ビューアを開発して品質の確認をしやすい環境を⽤意しました。
認識精度向上にはこうした地道な⼯夫が重要になります。
31


# Page. 33

![Page Image](https://bcdn.docswell.com/page/G75ZYKKMJ4.jpg)

32
ここからは⾏動決定AIについて、認識結果を⾏動へつなげるための基礎技術について説明します。
32


# Page. 34

![Page Image](https://bcdn.docswell.com/page/9J2RGWWR7R.jpg)

知覚 → 状態ベクトルへ︓シンボル化の設計
⽣の検出/認識結果
最適化・離散化
状態ベクトル s
各センサ出⼒（クラス・座標・距離・⾊・⾳響イベントなど）を、
意味のある最⼩限の特徴量へ圧縮する。
BTの条件式へ
状態ベクトル（例）
s=(
d_norm,
座標は画⾯⽐で正規化、距離は回帰値を帯域に離散化、HPは%に変換する。
スケールに⾮依存となり安定的に処理が可能になる。
hp_ratio,
enemy_type,
threat_flag,
「対象が近い」「カーソルが⼀致」「暗転中」等の
述語（ブール/カテゴリ）に落としてBTが解釈する。
...
)
33
知覚情報を⾏動決定につなげるための“橋渡し”がシンボル化です。
さきほど認識⼿法として説明した各種センサの⽣出⼒、距離・HP・⾊・敵種別等の情報は、意味のある最⼩限の特徴量に変換して使⽤します。
座標は画⾯⽐で正規化、距離は回帰値を帯域に離散化、そしてHPはパーセントにしていきます。
スケールに依存しない安定な表現にし、さらに『モンスターが近い』『HPが警告域』などの述語レベルまで落とすことで、
ビヘイビアツリーがそのまま条件式として解釈できるようになります。
低次元のシンボルに抽象化することで、ノイズに強く、説明可能で、差分修正が容易にできます。
33


# Page. 35

![Page Image](https://bcdn.docswell.com/page/DEYDVLL5EM.jpg)

ビヘイビアツリーの構造と状態遷移
Selector
戦闘中
戦闘思考
アクション未決定
状況認識
アクション決定
フィールド
フィールド移動思考
対象検出(近い)
対象検出
対象にアクション
近づく
ルート移動
GUI表⽰中
GUI思考
カーソルが⼀致
カーソル移動
決定
優先度つきSelectorで評価する。条件を満たす最上位のアクションを実⾏する。
聴覚センサーが攻撃予兆⾳を検知したら、ガードや回避を⾏っている。
34
⾏動決定にはビヘイビアツリーやステートマシンを利⽤しています。
ここではビヘイビアツリーの例を紹介します。
今の画⾯状況を把握して戦闘中か、フィールド中か、GUI操作中かなどを判定しています。
その後、それぞれの状態に応じてさらに優先度をつけて評価を⾏い、最終的な⾏動の決定を⾏います。
例えば、フィールド移動では対象の距離によって、⾏動を切り替えています。
対象に近づいたらアクションを⾏います。対象が⾒えていて離れている場合は近づくように動きます。
対象が⾒えていない場合はルートに従って移動するモードになります。
このように⼈間の思考に近い構造を採⽤しており、AIが何を考えているかが理解しやすい仕組みとなっています。
34


# Page. 36

![Page Image](https://bcdn.docswell.com/page/VJN6M444J8.jpg)

ルールベースだと仕様変更に追従しやすい
仕様変更が起きたとき
ルールベースなら
敵の調整で、今までの⽅法では倒せなくなった…
問題箇所を特定しやすく、
ブラックボックス（RL）なら全体を学習する必要
影響範囲を限定した修正ができる。
がある。
敵が倒せなくなった場合も、攻撃選択ルールを
⼀箇所変更するだけで対応可能。
→ ⽇々仕様が変わるゲーム開発では、
この ”局所修正のしやすさ” が
決定的な実⽤価値を持つ。
35
ここでルールベースの強みについて説明します。
例えば敵のパラメータ調整によって戦術が変わった場合でも、ルールベースなら⼀部のルールを修正するだけで対応できます。
強化学習のように全体再学習は必要ありません。
仕様変更が頻繁に発⽣するゲーム開発では、この局所修正能⼒が決定的な実⽤価値を持ちます。
35


# Page. 37

![Page Image](https://bcdn.docswell.com/page/YE9LNQQ473.jpg)

36
ここからはゲーム世界をどのように移動しているかをご紹介します。
36


# Page. 38

![Page Image](https://bcdn.docswell.com/page/GE8XKGGVJD.jpg)

ルート移動︓特徴点マッチングによる移動
課題 : 3D空間を移動するのは、ここまで紹介した認識技術だけでは難しい
解 ︓特徴点マッチングによるルート移動
１．事前に⽬的地までのルート画像群を⽤意
２．特徴点マッチングでルート画像群とのズレを計算し、移動
⽅向を推定する
37
ここまでで状況認識と⾏動決定について紹介していきましたが、移動処理を⾏う場合はそれだけでは難しいです。
しかしゲームではあるところから別のところへ、⽬的地までの移動ができなければ通しプレイを実現することはできません。
特に、3D空間を⽬的地まで進む処理は、これまでのような、画像のパターン認識だけでは難しいです。
そこで、⽬的地までの移動経路を、あらかじめ「連番画像」として⽤意しておく⽅法を考えました。
この画像をウェイポイントと⾒なし、今のゲーム画⾯から、その画像を再現するように動いて、⽬的地まで移動するという考えです。
37


# Page. 39

![Page Image](https://bcdn.docswell.com/page/LEL8ZGGR7R.jpg)

ルート移動︓ルート画像群の⽤意
開発環境を使ったルート画像群撮影
・開発環境上で移動経路を実際に移動
・⽬的地までの連番のルート画像群とメタデータを収集する
+
メタデータ
アクション情報（ジャンプが必要か）
カメラの⾓度
38
まず最初に⽤意するのが「ルート画像」です。
これはスタートからゴールまでのプロセスを、連番の画像として記録したものです。
RE ENGINE上でキャラクターを移動させ、その様⼦を出⼒しています。
開発環境で出⼒しているため、画像と⼀緒にメタデータを持たせることができます。
例えば、スライドのように段差をジャンプしている場⾯では、
画像と⼀緒に「ジャンプが必要」といった、アクション情報や、
カメラの⾓度といったデータを、画像とセットで紐づけています。
38


# Page. 40

![Page Image](https://bcdn.docswell.com/page/4JM6VQQPEW.jpg)

ルート移動︓特徴点マッチングによるズレ推定を⽤いた移動
今の画⾯とルート画像を⽐較し、共通して⾒える背景を対応付ける
ルート画像
現在の画⾯
・背景から固有の特徴点を抽出
・現在のリアルタイムゲーム画⾯を取得
・プレイヤーやミニマップUIは位置合わせの
・参照画像の特徴点と対応を試みる
ノイズになるため領域をマスクしておく
・対応点群のズレを⽐較・測定する
対応点の流れ⽅と凸包の広がりから「向き差/平⾏ズレ/距離差」を推定
39
このルート画像を「特徴点マッチング」と組み合わせ、ズレ推定を⽤いた移動を実装しました。
ルート画像と今のゲーム画⾯を⽐較し、背景の中で共通する特徴点を対応付けます。
この時、画⾯中央のプレイヤーやミニマップは、ノイズになるためマスクしています。
⼤事なのは、画像同⼠がどれだけ似ているかではなく、対応点がどうズレているかです。
対応点の並び⽅から「カメラの向き」を、並びの平⾏移動から「キャラクターの位置」を、点群の⾯積から「⽬標との距離」を、幾何学的に推定します。
39


# Page. 41

![Page Image](https://bcdn.docswell.com/page/PJRP288YE9.jpg)

ルート移動︓推定結果を⼊⼒に反映
画⾯の中央からのズレ/回転差
（画⾯の左右重⼼ズレ・カメラ回転差）
画⾯の横⽅向の平⾏ズレ
（画⾯の左右移動ズレ・位置ズレ）
画⾯内の前景/遠景の距離差
（対象特徴点との遠近ズレ）
右スティック（カメラ操作）
カメラの向きを微調整して真正⾯に補正
左スティック[X軸]（左右移動）
左右に平⾏移動してズレを打ち消す
左スティック[Y軸]（前後移動）
前進・後進を⾏い参照画像に近づく
少しずつ補正しながら、⽬的の⾒え⽅に近づける
40
推定したズレ情報を、コントローラー⼊⼒に割り振ります。
向きのズレは右スティックでカメラ回転、
平⾏移動のズレは左スティックで左右移動、
距離のズレは左スティックの前後移動で補正します。
さらに、マッチングの信頼度に応じて補正の強さを動的に切り替え、
またスティックの⼊⼒値をスムージングしながら反映し、
ルート画像の⾒え⽅に、滑らかに近づけていきます。
40


# Page. 42

![Page Image](https://bcdn.docswell.com/page/PEX3D884JX.jpg)

ルート移動︓ルート画像+特徴点マッチングによる移動の動画
※動画速度x1.5
41
こちらは実際のデモです。
今ご説明した特徴点マッチングによって、製品版上で⾃律的に移動している様⼦をご覧ください。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
内部座標を使わず、⼈間と同じ条件で⽬的地まで移動しています。
41


# Page. 43

![Page Image](https://bcdn.docswell.com/page/3EKYXKKPJD.jpg)

⾃動プレイエージェント(System1) のまとめ
■製品ビルド上でも動作可能な認識基盤として、OCR・テンプレートマッチング・⾊判定・YOLO・⾳響
認識・VLMを組み合わせたマルチモーダル知覚システムを構築。
■YOLOによる⾼速物体検知と独⾃の距離推定・⾳響検出により、内部メモリに依存せず⼈間と同じ条件
でリアルタイム状況認識を実現。
■学習データはゲームエンジンから⾃動⽣成することで、⾼精度かつ保守性の⾼い認識基盤を確⽴。
■認識結果を状態ベクトルへ抽象化し、ビヘイビアツリーによる説明可能で変更に強い⾏動決定を実現。
■その結果、⼈間と同じ⼊出⼒条件で稼働する「製品版対応の⾃動プレイエージェント」を実現した。
42
System1をまとめます。
私たちはOCR、テンプレートマッチング、⾊判定、YOLO、VLM、⾳響認識を組み合わせたマルチモーダル認識基盤を構築しました。
さらに距離推定や聴覚センサーといった独⾃の⼯夫を加えています。
そして認識結果を状態ベクトルへ抽象化し、ビヘイビアツリーによって説明可能で変更に強い⾏動決定を実現しました。
その結果として、⼈間と同じ⼊出⼒条件で動作する製品版対応の⾃動プレイエージェントを実現することができました。
ここまでがSystem1です。
続いて次章では、LLMとRAGを活⽤した上位認知層であるSystem2についてご説明します。
42


# Page. 44

![Page Image](https://bcdn.docswell.com/page/L7395ZZ475.jpg)

43
ここからは上位認知の役割であるSystem2についてご説明します。
前章では、瞬間的な判断を担うSystem1の機能を紹介しました。
しかし、ゲームを最後までプレイするためには反射の機能だけでは⾜りません。
⻑期的な⽬標を考えたり、攻略知識を活⽤したり、状況に応じて戦略を変更したりする必要があります。
そこでLLMとRAGを活⽤した上位認知層を構築しました。
43


# Page. 45

![Page Image](https://bcdn.docswell.com/page/87DGDRR57G.jpg)

QAエージェントの戦略的頭脳
System 1 - 即応的・反応的（ミリ秒オーダー）
CNN（YOLO等）+ ビヘイビアツリーがミリ秒で知覚・反射を担う（Type 1︓即応）
System 2 - ⻑期的・戦略的（秒〜数⼗秒オーダー）
VLM + RAGが画⾯を意味理解し、攻略知識を参照して
「どう深く・多様に遊んでバグを掘るか」を熟慮（Type 2）下位の反射層を上位から制御する
Dual Process Theory (Kahneman, 2011) の実装。
44
System1は反射です。
敵が近いから回避する。HPが低いから回復する。
こうした即応的な処理を担当します。
⼀⽅でSystem2は熟慮です。
今後の展開を予測し、どのような⽅針で戦うべきかを考えます。
VLMで画⾯を理解し、RAGで攻略知識を参照しながら意思決定を⾏います。
この⼆層構造によって、⼈間に近い思考プロセスを再現しています。
44


# Page. 46

![Page Image](https://bcdn.docswell.com/page/VJP3XWWDE8.jpg)

モンスターハンターストーリーズ3のバトルの特徴
3すくみを軸にした、奥深いターン制コマンドバトル
形態変化・部位・状態異常・絆・アイテムなど、多数の要素が絡み合う
パワー
スピード
テクニック
QA観点︓⼿数が多く、組み合わせが爆発するため、⼈⼿での網羅テストが難しい
45
ここでは主にバトルを題材に説明していきます。
本作のバトルは、パワー・スピード・テクニックの三すくみを基本としたターン制コマンドバトルです。
さらに状態異常、属性相性、絆ゲージ、部位破壊など、多数の要素が複雑に絡み合っています。
プレイヤーは単純なじゃんけんではなく、複数ターン先を考えながら戦う必要があります。
45


# Page. 47

![Page Image](https://bcdn.docswell.com/page/2EV4L88GJQ.jpg)

バトルの難しい点
固定ルールでは網羅しきれない3つの壁
状態空間が広い
戦況把握が難しい
敵ごとに最善⼿が異なる
モンスター・部位・状態異常・
絆・アイテム…
組み合わせが膨⼤で
固定ルールでは網羅しきれない
HP、武器、スキル、
⼿持ちアイテムなど、
必要な情報が画⾯の各所に
散在し、読み取り⾃体が難しい
固有の⾏動や
形態変化など汎⽤ルールが
通⽤しない
状況認識は VLM で、戦術は LLM+RAG を組み合わせ、
⼈間と同様に考えて⾏動する⾃動バトルシステムを構築
46
また状態の掛け算が⾮常に多く、モンスター毎に固有の⾏動パターンや形態変化による遊びも存在します。
これらすべてをルールベースのみで対応しようとすると、膨⼤な条件分岐が必要になり、また仕様変更の度に再調整が発⽣します。
そこでVLMとLLMを組み合わせ、⼈間と同様に⾒て、考えて⾏動するシステムを構築しました。
46


# Page. 48

![Page Image](https://bcdn.docswell.com/page/57G1X5ZDEL.jpg)

47
まずは状況認識について説明します。
戦術を考えるためには、現在の戦況を正しく理解する必要があります。
そのため画⾯から必要な情報を構造化して取得していきます。
47


# Page. 49

![Page Image](https://bcdn.docswell.com/page/4EQD8ZLXJP.jpg)

取得している主な情報︓BattleState
味⽅側から読み取る情報
敵側から読み取る情報
味⽅HP、状態、武器種、使⽤可能スキル、オトモ
ン情報、パートナー情報、アイテム⼀覧、など
敵の種類、形態、HP、⻯気ゲージ、誰を狙っている
か、形態ごとのターン数、複数敵の並び順、など
BattleState に集約
味⽅側と敵側から読み取った情報を1つのBattleStateに集約し、以降の戦術提案へ渡す
48
まずは画⾯解析です。
画⾯から読み取る情報は、
味⽅のHPやスキル、オトモンの情報から、敵の種類、誰を狙っているかの情報まで多岐にわたります。
これらをひとつの『BattleState』と呼ばれる構造化オブジェクトに統合します。
必要な情報が表⽰されている画⾯を順番に表⽰して読み取ります。
戦術判断では、このBattleStateが現在の世界状態として利⽤されます。
48


# Page. 50

![Page Image](https://bcdn.docswell.com/page/KJ4Z23D271.jpg)

どう読むか︓解析⼿法の役割分担
知覚⼿法（OCR/テンプレートマッチング/VLMなど）はSystem 1を踏襲し、バトル特有の情報を取得する
使⽤可能な技を順番に確認
選択されているアイコンを確認
敵が誰に⽮印を指しているか︖
OCRやテンプレートマッチングで
取得が難しい情報はVLMで取得
OCR
テンプレートマッチング
VLM
スキル名・HP・武器・アイテム・
型アイコン、状態異常など定型の
レイアウトが崩れても”意味で”
ダメージ・残数などの数値を
図柄を読む
全体状況を理解
正確に読む
49
画⾯解析⼿法ですが、OCRやテンプレートマッチングなどを使い分けて画⾯から必要な情報を読み取っています。
そして曖昧な情報や意味理解が必要な箇所はVLMを使います。
例えば敵が誰を狙っているかという⽮印表⽰は、従来⼿法だけでは取得しにくいためVLMを使い判断しています。
それぞれの情報認識AIの⻑所を活かすことで⾼い認識精度を実現しています。
49


# Page. 51

![Page Image](https://bcdn.docswell.com/page/LE1RM1ZKEG.jpg)

VLMの構造（画像エンコーダ+⾔語モデル）
ゲーム画⾯
画像エンコーダ
(ViT)
抽出された特徴量群
射影
⾔語空間のトークン
LLM
構造テキスト
（JSON/Literal）
プロンプト
ゲーム画像をViT系エンコーダ（Dosovitskiy+, 2021）で特徴化し、射影層で⾔語モデルの埋め込み空間へ
写像。CLIP（Radford+, 2021）等の学習によりアライメントされた視覚特徴は、
射影層を介して⾔語モデルの空間へ統合され、そこでプロンプトと統合して最終的な推論が⾏われます
出⼒はスキーマ拘束（JSON/Literal）を⾏います
これによって画⾯の“意味”を⾔語で扱えるようにしたのがVLMの本質です
50
ここでVLMの仕組みを簡単に説明します。
⼊⼒されたゲーム画⾯はVision Transformerによって特徴量へ変換されます。
その後、⾔語モデルが扱う埋め込み空間へ投影されます。
つまり画像情報が⾔語として解釈可能な形へ変換されます。
その結果、「この画⾯で何が起きているか」を⾃然⾔語レベルで理解できるようになります。
この画像から『翻訳』されたトークンと、指⽰などのテキストプロンプトがシームレスに結合され、LLMへと⼊⼒されます。
LLMはこれらを統合して推論を⾏い、最終出⼒はJSON形式に拘束し、後続処理に利⽤しやすくしています。
単なるピクセルの集合であるゲーム画⾯の『意味』を⾔語として捉え、推論から構造化出⼒までを⼀気通貫で⾏えます。
50


# Page. 52

![Page Image](https://bcdn.docswell.com/page/GEW1389P72.jpg)

Transformerの⾃⼰注意（Self-Attention）
LLM/VLMの中核︓Transformer(Vaswani+, 2017)
各トークンが⽂脈全体の「どこに注⽬すべきか」を
学習する⾃⼰注意機構
スケール化内積注意
算出メカニズム
検索(Q)と⾒出し(K)の内積で「注意重み（関連度）」を算出し、
値(V)を加重平均して⽂脈を抽出する
Attention Q, K, V
softmax
QK
d
V
⾃動プレイにおける優位性
遠く離れた「攻略知識」や「過去の履歴」を直接結びつけ
（⻑距離依存）、局所的ではない⾼度な戦略推論を可能にする
ゲームにおける⻑期的な戦略推論に直結
51
続いて、これらLLMやVLMの推論の⼼臓部である『Transformer』の⾃⼰注意機構、Self-Attentionについてご説明します。
このメカニズムは、⼊⼒された情報を『検索クエリ』と『⾒出し』のように扱い、
それぞれの関連度を計算することで、⽂脈全体の『どこに⼀番注⽬すべきか』を学習します。右側の数式がそれを⽰しています。
私たちの⾃動プレイシステムにおいて、この仕組みが最⼤の武器になります。
なぜなら、直前の画⾯状況だけでなく、過去の『プレイ履歴』や、最初に与えた『攻略知識』といった遠く離れた情報を、直接結びつけて考慮できるからです。
この⻑距離依存の獲得により、局所的な判断にとらわれない、⻑期視点での⾼度な戦略推論を実現しています。
51


# Page. 53

![Page Image](https://bcdn.docswell.com/page/47ZPV896E3.jpg)

52
ここから戦術⽣成の仕組みに⼊ります。
私たちは単純な⾃動操作ではなく、「なぜその⾏動を選ぶのか」まで考えられるシステムを⽬指しました。
その中⼼となるのがLLMとRAGによる戦術提案です。
52


# Page. 54

![Page Image](https://bcdn.docswell.com/page/YJ6M5PKL7V.jpg)

戦術提案の全体像
状況認識により局⾯状況と⾏動候補が揃った
LLMに情報を渡して戦術提案を⾏ってもらい、レスポンスに応じたコマンドを実⾏したい
しかし、画⾯解析の結果だけでは「今の状態 s」しか分からない
今の状態 s (局⾯情報と⾏動候補)
BattleState
最適な⾏動
攻略知識 K
定式化︓最適⾏動の選択
最適な⾏動のためには攻略知識 K が必要
状態 s・攻略知識 K・プレイ⽅針 π を条件に、
合法⼿集合上で事後確率最⼤の⼿ a* を選ぶ
LLMは構造化出⼒で「ただ1つの最適⼿ a*」を返す
A∗
argmax P a | s, K, 𝜋
a∈A
s : 局⾯情報（BattleState）
K : 攻略知識（RAG）
𝜋 : プレイ⽅針（⾃然⾔語）
53
まずは戦術提案の全体像と、最適な⾏動を選択するための『定式化』についてご説明します。
ゲームの画⾯を解析するだけでは、『プレイヤーの状態』や『プレイヤーが選択できる⾏動候補』や『エネミーの種類』などといった『現在の状態』しか分かりません。
しかし、これだけをLLMに渡しても、⾏き当たりばったりの⾏動になってしまいます。
重要になるのが、『攻略知識』の統合です。
本システムでは、単に状態だけで⾏動を決めるのではなく、
RAGから取得した『攻略知識』と、事前に与えられた⾃然⾔語の『プレイ⽅針』を条件としてLLMに⼊⼒します。
そして、ルール上選択可能な『合法⼿』の中から、これらの条件のもとで最も確率の⾼い、つまり『事後確率が最⼤となる1つの最適な⾏動』を選び出します。
このように、状態と知識を数学的に定式化し、LLMの構造化出⼒によって確実にコマンドとして実⾏させる。これが本システムの戦術提案のコアな仕組みです。
53


# Page. 55

![Page Image](https://bcdn.docswell.com/page/GJ5ZYKPME4.jpg)

攻略知識(RAG)の獲得
LLMで企画書/仕様書/ゲームアセットを⾃動で構造化
モンスター名をキーとした攻略情報の辞書を構築する
抽出
仕様書、開発データなど
攻略知識
情報カテゴリ
内容
三すくみ
形態毎の三すくみタイプ(パワー/スピード/テクニック)
弱点属性
属性相性など
（◎=かなり有効 /◯=有効/△=やや効きにくい/✕=効きにくい/ー=等倍）
特記事項
閃光⽟撃ち落とし/形態ギミック/部位破壊の遊びなどの⾃由情報など
⾏動パターン
形態別のターン毎の⾏動テーブル
54
この仕組みを実現するため、まず攻略知識をRAGとして獲得します。
仕様書やゲームデータを⾃動で構造化し、モンスター名などをキーにして攻略情報の辞書を構築しました。
これにより形態毎の三すくみや弱点、特殊なギミックなどの専⽤の遊びを理解することができます。
54


# Page. 56

![Page Image](https://bcdn.docswell.com/page/9E2RGW6RJR.jpg)

攻略知識︓モンスター構造辞書
モンスター構造辞書の例 : マガイマガド
形態別の
三すくみ
通常形態:スピード
⻤⽕臨界:テクニック
⻤⽕纏い:パワー
種族
⽛⻯種
攻撃属性 無
弱点属性 [無ー, ⽕×, ⽔◎, 雷〇, 氷ー, ⿓△]
特記事項 閃光⽟: 無効
⻤⽕纏い: ⻤⽕部位を破壊することで纏い解除
部位別弱点: 尻尾(斬)、胴(突)
⻤⽕臨界状態など、今の形態情報は画⾯から取得してBattleStateに保持している
未知のモンスターでも、そのモンスターの形態に合わせた特記事項を⾃動で参照できる
モンスター固有のギミックも、VLM+RAGによってコード変更なしで⾃律的に反映・対応できる
55
こちらが実際に構築した、マガイマガドの構造辞書の例です。
各形態の三すくみがわかるのはもちろんのこと、
⼤技の時は属性相性の強いオトモンに切り替えたり、弱点属性から使⽤する武器を切り替えたりなどを判断することが可能です。
ここでの⻤⽕臨界状態などの形態情報は、画⾯から取得してBattleStateに保持しているため、
未知のモンスターでも、そのモンスターの形態に合わせた特記事項を⾃動で参照できます。
モンスター固有のギミックも、VLMとRAGによってコード変更なしで⾃律的に対応できるようになっています。
55


# Page. 57

![Page Image](https://bcdn.docswell.com/page/D7YDVL957M.jpg)

攻略知識︓敵の攻撃予測
モンスターの⾏動パターン情報も抽出し、次の⾏動を予測する
形態
優先度
判定条件
予測される⾏動
通常
1
1ターン⽬
テクニック攻撃
2
2ターン⽬以降
エアバキューム
3
上記以外
ウルムースクラッ
チ
1
1~2ターン⽬
フライングプレス
2
上記以外
エアーショット
-
破壊成功時
ダウン
滞空
部位破壊
(頸袋)
状態変化
滞空状態へ
形態変化
LLMは現在の形態 + 経過ターン + 攻略知識を参照できる
これにより⼤技が予想される場合は、回復、防御⾏動などの選択を⾏えるようになる
56
さらに、モンスターの「⾏動パターン情報」も抽出し、次の⾏動を予測させます。
次のターンに空を⾶ぶと予測できれば、「閃光⽟を温存、準備する」といった判断が可能になります。
これにより、ただその場のじゃんけんに勝つだけでなく、バトル全体の流れを⽀配するような、より⼈間に近いインテリジェントな戦闘が⾏えるようになりました。
56


# Page. 58

![Page Image](https://bcdn.docswell.com/page/VEN6M4L4E8.jpg)

プレイ⽅針の定義（⾃然⾔語指⽰）
⽣まれる挙動
使いどころ
最善の⾏動を⾏ってください
弱点と有利な三すくみを狙う/適切に回復
通常プレイ
回復は使わず弱点も避けて
回復禁⽌＋弱点回避の縛り
頑健性テスト
わざと不利な⼿を出して
不利な三すくみをあえて選択
三すくみテスト
バランス検証など
HPが低い敵から狙って
ターゲット優先度の変更
戦術バリエーション
絆技の強制発動
スキル検証など
絆技が溜まったらすぐに使って
LLMによる戦術提案の利点として、⾃然⾔語によるプレイスタイルの動的な変更が可能になる
コードの変更なく、⽂章の変更で多様なプレイスタイルを実現でき、
⽬的に合わせた様々なテストを実⾏することができる
57
続いて、プレイ⽅針の定義についてです。
LLMの⼤きな特徴は⾃然⾔語による制御です。
具体的にこのようなバリエーションをテストすることができるようになります。
通常プレイ⽤の「最善の⾏動を⾏ってください」はもちろん、デバッグの頑健性テストとして「回復は使わず、弱点も避けて」といった縛りプレイや、
バトルバランス検証のために「わざと不利な⼿を出して」といった指⽰も可能です。
プロンプトを1⾏書き換えるだけで、多様なプレイ挙動を動的に⽣み出し、テストケースを無限に拡張することができます。
57


# Page. 59

![Page Image](https://bcdn.docswell.com/page/Y79LNQ44J3.jpg)

⾃然⾔語指⽰を制御パラメーターへ構造化
⾃然⾔語をそのまま戦術提案LLMに渡しても制約が無視される可能性がある
LLMで⾃然⾔語指⽰を制御パラメータに構造化し、制約をルール化する
回復は使わず弱点も避けて
プレイスタイルの
解釈LLM
パラメーター(Key)
設定
解釈理由
forbid_recovery(回復禁⽌)
True
「回復は使うな」を検出
avoid_enemy_weakness(弱点回避)
True
「弱点を避けて」を検出
hp_recovery_threshold(回復閾値)
50
banned_weapons(特定武器禁⽌)
[]
preferred_attack_type(優先三すくみ)
“”
aggression(攻撃対象の選定)
“標準”
extra_directives(構造化不可能な指⽰)
“”
(Value)
構造化できない指⽰は
ここに格納
変換ルールと変換例を few-shot で提⽰して構造化出⼒の精度を上げている。
構造化できない未知の指⽰は「extra_directives」に格納し、後続の処理で利⽤する。
58
しかし、⾃然⾔語をそのまま戦術提案LLMに渡しても、制約を忘れてハルシネーションを起こす可能性があります。
そこで本システムでは、指⽰の解釈に2段階のプロセスを採⽤しました。
まず、プレイスタイルの解釈LLMを⽤いて、⾃然⾔語の指⽰を「回復禁⽌」や「弱点回避」といった厳密な「制御パラメーター」に構造化し、制約をルール化します。
構造化できない未知の指⽰が含まれている場合は、構造化不可能な指⽰としてニュアンスを残し、後続の処理で利⽤します。
58


# Page. 60

![Page Image](https://bcdn.docswell.com/page/G78XKGQVED.jpg)

ハード制約とソフト制約でルールを守る
確実にルールを守るハード制約
・選択肢を物理的に削除して戦術提案LLMが誤選択する確率を排除する
・回復禁⽌ならば、所持アイテムから回復アイテムを削除
・特定の武器種、例えばハンマー禁⽌ならば、武器名から”ドロスボアハンマー”を削除
対象
項⽬
このターンで選べる選択肢
プレイヤー
アイテム(item_name)
[薬草, 回復薬, 回復薬グレート, 閃光⽟, …]
武器(weapon_name)
[スキュラブレイダー, ドロスボアハンマー, …]
柔軟なプレイを促すソフト制約
・システムプロンプトの末尾に「プレイスタイル制約」として、
直接記述する
・LLMならではの柔軟な対応⼒をそのまま利⽤する
指⽰⽂ += &#039;&#039;&#039;
【プレイスタイル制約(最優先で厳守)】
- 弱点(属性・三すくみ)を意図的に避ける
- 回復アイテムは⼀切使⽤しない
- ⽴ち回りは「防御的」とする
&#039;&#039;&#039;
59
この構造化された制御パラメーターに基づき、「ハード制約」と「ソフト制約」の2つのアプローチを組み合わせてルールを守ります。
まず「ハード制約」は、選択肢を物理的に削除して、戦術提案LLMが誤選択する確率を完全に排除するアプローチです。
例えば「回復禁⽌」であれば、所持アイテムから「回復薬」などを消します。
同様に「ハンマー禁⽌」なら、武器名から「ドロスボアハンマー」を消します。
⼀⽅で、「⽴ち回りを防御的にする」といった曖昧な指⽰については、
「ソフト制約」としてシステムプロンプトの末尾に直接追記し、LLMならではの柔軟な対応⼒をそのまま利⽤させます。
59


# Page. 61

![Page Image](https://bcdn.docswell.com/page/L7L8ZGXRJR.jpg)

提案された⾏動を⼊⼒に変換
戦術提案LLMからの回答をルールベースAIで操作に変換
対象
項⽬
このターンで選ぶ⾏動
プレイヤー
⾏動タイプ
[攻撃]
ターゲット部位
[尻尾]
3すくみ属性
[パワー]
武器
[ドロスボアハンマー]
スキル
[]
アイテム
[]
オトモン名
[レウス]
オトモン技
[ヴェノムストライク]
オトモン
UI操作(ルールベースAI)
・プレイヤーは通常攻撃
部位は尻尾で3すくみはパワー
武器はドロスボアハンマー
・オトモンはレウスで
ヴェノムストライクを選択
選択されたコマンドをルールベースAIでゲームパッド⼊⼒に反映
ゲーム中に存在しない操作を⾏わないようにルールベースで厳密に制御
60
LLMが最適な1⼿を選択したら、最終ステップとしてゲームパッド操作へと変換します。
ゲーム中に存在しない操作を⾏わないようにルールベースで厳密に制御することで、⼊⼒系のハマりが発⽣しないようにしています。
60


# Page. 62

![Page Image](https://bcdn.docswell.com/page/4EM6VQLP7W.jpg)

実⾏例①
最善の⾏動を⾏ってください
対象
項⽬
このターンの⾏動
プレイヤー
⾏動タイプ
攻撃/テクニック/胴
武器
ドロスボアハンマー
オトモン名
イャンクック
オトモン技
⽕球
オトモン
推論理由:
マガイマガドの今ターンの攻撃は「スピード」タイプであり、
ターゲットはプレイヤーです。
ダブルアタックを成⽴させて敵の攻撃をキャンセルするため、
プレイヤーとオトモンは「テクニック」タイプで攻撃する必要
があります。
現在フィールドにいるレウスはテクニック攻撃を持たないため、
控えからHPが万全でテクニックタイプのスキル「⽕球」を持つ
「イャンクック」を繰り出します。プレイヤーはマガイマガド
の弱点属性である
⽔属性の「ドロスボアハンマー」を装備し、
テクニックタイプの通常攻撃を⾏うことで、
確実にダブルアタックを発動させます。
61
ここで、実際のバトルにおける実⾏例を2つ紹介します。
まず1つ⽬は、最もベーシックな「最善の⾏動を⾏ってください」と指⽰した場合です。
LLMの予想では相⼿マガイマガドがスピード攻撃となっており、
オトモンを⼊れ替えつつ、武器は⽔属性の武器を使ってダブルアタックを成⽴させる判断を⾏っています。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
61


# Page. 63

![Page Image](https://bcdn.docswell.com/page/PERP28KY79.jpg)

実⾏例②
3すくみではあいこを狙ってください
対象
項⽬
このターンの⾏動
プレイヤー
⾏動タイプ
攻撃/スピード/胴
武器
ドロスボアハンマー
オトモン名
トビカガチ
オトモン技
イナズマオトシ
オトモン
推論理由:
プレイスタイル制約『３すくみではあいこを狙ってください』
が最優先されます。
敵マガイマガドの攻撃タイプは『スピード』であるため、
あいこを成⽴させるために
プレイヤーは『スピード』タイプを選択します。
また、オトモンも同様にあいこを狙うため、
スピードタイプのスキル『イナズマオトシ』を持つ
『トビカガチ』を選択し、指⽰を出します。
62
2つ⽬は、「3すくみはあいこを狙って」という、あえて引き分けを狙う指⽰を与えた例です。
このようにスピードタイプの攻撃を選択して引き分けるようになっています。
これにより、バグ出しやバランス検証に必要な変則的な挙動も、指⽰通りに完璧に再現できるようになりました。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
62


# Page. 64

![Page Image](https://bcdn.docswell.com/page/P7X3D8L4EX.jpg)

サンプリング可視化で「確信度」を計測
確率分布とサンプリング（温度T）
𝑝
𝑧
𝑠𝑜𝑓𝑡𝑚𝑎𝑥
𝑇
𝑧
𝑒
𝑇
𝑧
∑ 𝑒
𝑇
温度 T 付き softmax で⾏動分布 p を構成し、
N回サンプリングで経験分布を得る
エントロピー 𝐻𝑝
∑ 𝑝 log 𝑝 が「迷い」の指標
シード固定することで偶然踏んだバグも再現・再報告できる
指⽰・知識を変えたときの確信度（分布）の変化を⽐較し、
テスト設計に活かしている
確信度
サンプリングで選ばれた⾏動の分布
80.0%(8/10)
攻撃/スピード/ドロスボアハンマー:メテオハンマー
10.0%(1/10)
攻撃/テクニック/フィオレセロルージュ:砲撃
10.0%(1/10)
攻撃/スピード/ドロスボアハンマー:睡眠チェイス
プロンプトの記述や攻略知識の過不⾜を「確信度」で定量的に評価・デバッグできる
63
また、AIの思考プロセスを改善する上で、LLMが「どれくらい判断に迷ったか」を定量化する⼿法も取り⼊れました。
同じ戦闘局⾯に対して、LLMの出⼒をサンプリングし、選択肢の確信度を測定、可視化します。
この指標を⽤いることで、プレイ⽅針の変更や、RAGに新しい知識を注⼊した際に、AIの判断がどう変わるかを定量的に評価、デバッグできるようにしています。
63


# Page. 65

![Page Image](https://bcdn.docswell.com/page/37KYXKLPED.jpg)

⾃動プレイエージェント(System2)のまとめ
■System1の反射的な⾏動制御の上に、LLM・VLM・RAGを活⽤した戦略的思考層を構築。
■VLMによってゲーム画⾯を意味レベルで理解し、
BattleStateとして構造化することで複雑な戦況把握を⾃動化。
■RAGを利⽤して仕様書や攻略データから知識を動的取得し、
モンスター固有ギミックや形態変化にもコード改修なしで対応できるようにした。
■⾃然⾔語によってプレイスタイルを変更できるため、
通常プレイから異常系・検証⽤プレイまで柔軟に⽣成可能となった。
■その結果、単なる⾃動操作ではなく、
⽬的に応じて⾏動⽅針を変えながらテストできる知的QAエージェントを実現。
64
System2をまとめます。
VLMによってゲーム画⾯を意味レベルで理解し、BattleStateとして構造化しました。
RAGによって仕様書や攻略情報を知識として活⽤できるようにしました。
さらに⾃然⾔語によるプレイ⽅針制御によって、多様なプレイスタイルを柔軟に⽣成できるようになりました。
その結果、単なる⾃動操作ではなく、⽬的に応じて戦略を変えながらテストできる知的QAエージェントを実現することができました。
ここまでがSystem2の説明です。
続いて実際の現場でどのように運⽤しているのか、先回りデバッグのケーススタディをご紹介します。
64


# Page. 66

![Page Image](https://bcdn.docswell.com/page/LJ395Z34J5.jpg)

65
ここからは先回りデバッグを実現するAIエージェントの実例の紹介に移ります。
65


# Page. 67

![Page Image](https://bcdn.docswell.com/page/8JDGDR45JG.jpg)

先回りデバッグを実現する複数のエージェント
①パフォーマンス
広⼤なフィールドと組み合わせをプレイして調査、
処理負荷の問題箇所や原因を特定し、修正⽅法を提案する
②ビジュアル破綻
カットシーンなどの膨⼤な
ビジュアル破綻の⽬視チェックを代⾏する
⾃前のCIツール
⾃動プレイエージェントを稼働する独⾃のCIツール。
66
これまで⾃動プレイの仕組みについて説明をしてきましたが、私たちが⽬指したのは⾃動プレイそのものではありません。
⾃動プレイも活⽤した、課題発⾒から原因分析、修正提案までをEnd-to-Endで⾃動化することです。
実践例として、先回りデバッグの仕組みを本⽇は2つご紹介します。
⼀つ⽬はパフォーマンスチェックです。
広⼤なフィールドを⾃動プレイで調査。問題個所の特定と修正⽅法の提案までを⾏います。
⼆つ⽬のビジュアル破綻チェックはカットシーンの装備被りによる問題を⾼速にチェックします。
この章では加えて、AIエージェントというわけではないですが、⾃動プレイを制御するCIツールについても簡単にご紹介させていただきます。
66


# Page. 68

![Page Image](https://bcdn.docswell.com/page/VEP3XWMD78.jpg)

67
まずはパフォーマンスチェックエージェントについて紹介します。
問題の発⾒と原因調査を⾃動化することで、開発者を「重い場所探し」から解放し、修正そのものに集中できる環境を⽬指しました。
67


# Page. 69

![Page Image](https://bcdn.docswell.com/page/27V4L89GEQ.jpg)

AAAタイトルにおけるパフォーマンス課題
課題︓
・フィールドは年々広⼤になっており、パフォーマンスのボトルネック箇所を探すのは困難
・パフォーマンス担当者が「チェックプレイ → 原因特定 → 修正⽅法提案」を⾏っていた
プレイヤー
背景
エフェクト
ＵＩ
モンスター
68
現在のAAAタイトルでは、パフォーマンス低下の調査コストが増加しています。
広⼤なフィールドを網羅的にチェックしながらボトルネック箇所を探し、パフォーマンス低下原因がどこにあるか切り分ける必要があります。
更に、原因に応じた各種プロファイラツールを⽤いた調査を⾏う必要があり、パフォーマンス最適化の専⾨知識を持つエンジニアに依存しがちです。
68


# Page. 70

![Page Image](https://bcdn.docswell.com/page/5JG1X54D7L.jpg)

AAAタイトルにおけるパフォーマンス課題
解︓パフォーマンスチェックエージェント
担当者の代わりにエージェントが「チェックプレイ → 原因特定 → 修正⽅法提案」を⾏う
下記のプロセスでパフォーマンス課題の検出を⾏う
１．事前にオブジェクト情報を収集
２．パフォーマンス影響の⼤きい座標を予測
３．予測した座標を⾃動巡回
４．パフォーマンスデータから要因の検出
５．社内ナレッジを参照し修正⽅法を提案
69
その解として、担当者の代わりに「チェックプレイ→原因特定→修正⽅法提案」までをEnd-to-Endで⾏う、パフォーマンスチェックエージェントを開発しました。
これは、開発環境を⽤いて事前にオブジェクト情報を収集、パフォーマンスに影響の⼤きい座標を予測します。
⾃動プレイを⽤いて、予測した座標を⾃動で巡回し、パフォーマンスデータから要因の検出をします。
そして社内ナレッジから修正⽅法の提案を⾏います。
69


# Page. 71

![Page Image](https://bcdn.docswell.com/page/47QD8ZGXEP.jpg)

メッシュ情報収集とヒートマップ化
RE ENGINEからメッシュ情報を収集
主要シーン毎に背景メッシュを網羅的にロードし、
データを収集
・収集対象︓背景メッシュ、SpeedTree等
・収集データ︓頂点密度、シェーダーレジスタ、
表⾯積情報など
1辺10mのグリッド単位で
メッシュ情報を収集
収集したデータからヒートマップを作成
リソース収集後、
⼀辺10mのグリッド単位で各グリッドに含まれる
頂点数を収集し、DB形式で保存
各グリッド毎に背景メッシュ・
SpeedTree等の頂点密度やシェー
ダーレジスタ、表⾯積情報を格納
収集したグリッドデータからヒートマップを作成
70
エージェントによる⾼負荷地点の⾃動巡回を⾏うために、まず「どこが重そうか」を事前に予測する必要があります。
その予測を⾏うために、まずシーン全体のメッシュ情報を収集します。
CI実⾏で毎⽇エンジン上の計測対象シーンについて、
⼀辺10mのグリッド単位で背景メッシュ・SpeedTree等の設置数の多いオブジェクトの頂点数や表⾯積、シェーダー情報を集計します。
これらの情報はDB形式で保存され、負荷が⾼い領域のヒートマップデータとして扱います。
70


# Page. 72

![Page Image](https://bcdn.docswell.com/page/KE4Z2352J1.jpg)

巡回ルートの構築
カメラ⾓度と座標の算出
ヒートマップの情報を元に最も多くの頂点を含む
カメラの⾓度と座標を算出
ナビメッシュの各ノード上でカメラを回転させ、
どの⽅向に多くのメッシュが映るかを計算（GPU
で並列計算を⾏い計算時間を短縮）
巡回ポイントの策定と最適化
ボクセルの負荷スコアから巡回ルートを構築する
過去データから異常値の閾値を算定し、異常値を
超える値を通過しやすいようにする
また⼀定スコア以下はウェイトを定数にしてむら
なく実⾏する
71
次にヒートマップデータを⽤いて負荷予測を⾏います。
プレイヤーが通れる場所の情報にナビメッシュを⽤い、各ノード上でカメラを回転させながらどの⽅向が⾼負荷になっているかをスコア算出します。
この時、各ノードで独⽴した計算が出来るため、ComputeShaderを⽤いた並列計算を⾏うことで、
広⼤なフィールドであっても⼗数分程の計算時間に抑えています。
このボクセル単位の負荷スコアは巡回パスの構築に活⽤します。
過去のデータから異常値の閾値を算定しており、異常値を超える値を経路探索で通過しやすいようにパスに影響を与えます。
⼀定スコア以下は、ウェイトは定数にして巡回をムラなく実⾏するように⼯夫します。
このようにして、負荷スコアから異常を検出しやすい巡回ルートを作成しています。
71


# Page. 73

![Page Image](https://bcdn.docswell.com/page/L71RM1WK7G.jpg)

巡回ルートの構築
巡回ルートの移動デモ
72
こちらが実際の巡回デモです。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
エージェントが多数のオブジェクトを含む⾼負荷候補地点にカメラを向けながら⾃動的に巡回している様⼦になります。
⾚⾊のグリッドが⾼負荷なオブジェクトを多数含み、⻘⾊が負荷の低いグリッドとなります。
低負荷でもメッシュ数が多い⾓度を向いたり、メッシュ数は多くないが負荷の⾼い⽅向を向く等様々なパターンが確認出来ます。
72


# Page. 74

![Page Image](https://bcdn.docswell.com/page/G7W1386PJ2.jpg)

パッケージの⾃動プレイ
出⼒した巡回ルートのデータをもとに⾃動プレイを⾛らせる
73
作成した巡回ルートをもとに⾃動プレイを実⾏します。
※ 映像についてはDocswell「スライド概要」へ記載のYouTube講演映像からご確認ください。
メッシュ数が多いと予測された場所を移動し、⾼負荷と予測された⽅向にカメラを動かしながらパフォーマンス実測値を収集しています。
更にバックグラウンドで各種パフォーマンスキャプチャを⾏い、リアルタイムでサーバーへ送信しています。
⼈⼿を使わない、継続的な計測が可能となっています。
73


# Page. 75

![Page Image](https://bcdn.docswell.com/page/4JZPV8Y673.jpg)

可視化
3Dビューアによるパフォーマンス可視化
計測結果を統合し俯瞰して状況を
確認可能なWebツールを作成。
FPS実績値に応じた⻘〜⾚のヒートマップで可視化。
計測時のプレイ動画も表⽰。
⾮エンジニアでもパフォーマンスの問題を把握可能に。
74
収集結果はWeb上で可視化されています。
問題箇所をヒートマップで表⽰し、
プレイ動画と合わせて確認できます。
専⾨知識がないメンバーでも現状を把握できるようにしたことが重要なポイントです。
74


# Page. 76

![Page Image](https://bcdn.docswell.com/page/YE6M5PDLJV.jpg)

修正提案
RAGによる修正案⽣成
社内チャット・プルリクエスト・
ドキュメントなどから過去の開発知⾒を
収集しRAG⽤DBに蓄積
タイトルに依存しないナレッジの
集合知を活⽤した、
実際のナレッジに基づいた提案を⾏う
過去の議題や解決事例などの
ナレッジへのリンクとなっており、
クリックすることで該当スレッドに
⼿軽にアクセス可能
成果︓
ゲーム開発に紐づくアセットを活⽤し、パフォーマンス状況を視覚的に理解できるツールを構築
⾃動プレイによる実測値×タイトルに依存しないナレッジの蓄積×⽣成AIにより原因分析と修正案
提⽰を⾏い、これによってパフォーマンスチューニングの敷居を⼤幅に下げることができた
75
最後にAIが提案を⽣成する仕組みですが、
社内チャット、ゲームエンジンのプルリクエスト、ドキュメントなどから、過去の開発知⾒を収集し
「タイトルに依存しない」ナレッジとしてRAG⽤のデータベースに蓄積します。
このナレッジと計測結果を組み合わせることで、過去の知⾒と今回の状況に基づいた修正提案をAIによって⽣成しています。
⼀般的なAI回答ではなく「実際の開発ナレッジに基づいた提案」になる点が特徴です。
これらの結果、パフォーマンスチェックエージェントによって、パフォーマンスチューニングの敷居を⼤幅に下げることができました。
75


# Page. 77

![Page Image](https://bcdn.docswell.com/page/GE5ZYK3M74.jpg)

76
続いてビジュアル破綻チェックエージェントです。
ゲーム開発では膨⼤なイベントシーンやカットシーンを確認する必要があります。
今回はその代表例として、顔の隠れ込みチェックをご紹介します。
76


# Page. 78

![Page Image](https://bcdn.docswell.com/page/972RGWZRER.jpg)

カットシーン⽬視チェックの物量限界
課題︓全パターンのチェックは⼈⼒では不可能
・ストーリー中のイベントシーン、会話デモなど、様々な種類のカットシーンが存在する
・各カットシーンでは装備状態が反映されるが、装備によってはNPCの顔に被る事態も発⽣
・チェックすべき数 = 全カットシーン × 装備種類数 → 膨⼤な組み合わせに
OK︓被写体の顔が
⾒えるケース
NG︓被写体の顔が
背景や装備で
隠れているため
OK︓デザイン的に
AIに任せるにしても全フレームのチェックは膨⼤
そこで計算量を削減しつつ3つのステップで解析。
意図したもの
OK︓演出的に顔が
サンプリング最適化
隠れるもの
ルールベース最適化
基準ガイドによるVLM解析
77
⼀⾒すると簡単そうですが、実際は⾮常に難しい問題です。
顔が隠れていればNGとは限りません。
演出として意図された場合もあります。
デザイン上正しいケースもあります。
つまり単純なルールでは判定できず、⽂脈理解が必要になります。
ここでVLMが活躍します。
しかしAIに任せるにしても全フレームのチェックは膨⼤になります。
そこで計算量を削減しつつ3つのステップで解析を⾏うようにしました。
77


# Page. 79

![Page Image](https://bcdn.docswell.com/page/DJYDVLR5JM.jpg)

STEP1 : サンプリング最適化
カット単位のフレームサンプリング
カット1
similar
カットシーンの全フレームを撮影するのは⾮現実的なため、
各カットの先頭・中央・末尾のフレームを画像キャプチャ。
変化量に対してデータ量を現実的な範囲に抑制。
different
メタデータの同時保存
RE ENGINE上のサンプリングプロセスでは同時
に、画像撮影時の画⾯上のキャラクターの情報
などをメタデータとして保存
→ 後続のVLM処理前のフィルタリングに活⽤
メタデータ
+
画⾯上のキャラクターID
各種装備ID
キャラクター座標
顔表⽰2D空間座標
など
78
最初のステップはサンプリング最適化です。
まずカットシーンなどで全フレームを解析するのは現実的ではありません。
そこで変化量が⼤きい箇所だけを抽出するようにしました。
カメラ変化やキャラクター位置変化を利⽤してサンプリングを⾏います。
1000フレームあったとしても、数⼗フレーム程度まで削減できます。
まず計算量を減らすことが重要です。
またRE ENGINEでのサンプリングの過程で、メタデータも同時に出⼒しています。
この後の⼯程で必要となる、画⾯上のキャラクターID、各種の装備ID、画⾯上のキャラクター座標、顔領域の２D空間座標や⾯積等、
各種のデータをエンジンから出⼒しています。
全てをVLMで任せるとハルシネーションのリスクは増⼤するため、事前に正確なデータを⽤意することで、VLMのような確率論的な回答だけに頼らず、
従来の決定論的なアルゴリズムを有効活⽤し、ハイブリッドな構成で精度を⾼めることができます。
78


# Page. 80

![Page Image](https://bcdn.docswell.com/page/V7N6M4D478.jpg)

STEP2 : ルールベースによる最適化
ルールベースの3つのチェックでVLMに渡す前にNG判定
顔領域の被りチェック
顔の可視性チェック
類似チェック
顔の領域がキャラクター同⼠で被って
いないかチェック
カメラに対するキャラクターの⾓度が
95度以上はスキップ
デフォルト装備で撮影した結果はベク
トル化してキャッシュ
メタデータの顔円座標を活⽤
プレイヤーより⼿前にNPCが配置され
ている場合もスキップ
他装備のベクトル類似度が⾼い場合は
スキップ
79
次にルールベースによるNG判断について説明します。
事前に出⼒したメタデータの情報を⽤い、
キャラクターの顔領域被りチェック、キャラクターの可視性チェック、画像ベースの類似チェック、
の３段階のチェックを⾏い、明らかに問題ない、または明らかに被っているケースやVLMチェックが不要なケースを事前判定しています。
これによって計算コストの削減を⾏っています。
79


# Page. 81

![Page Image](https://bcdn.docswell.com/page/YJ9LNQG4E3.jpg)

STEP3 : 基準ガイドを⽤いたVLM解析
ゼロショット空間オクルージョン検証
クロスモーダル・セマンティックアライメント
単⼀画像のルール判定に依存せず、
カメラアングルやキャラクターの表情トポロジーを
完全な正解となる基準画像と
保持したまま、アタッチされた
検証対象画像にメタデータを加えて潜在空間で対象評価
装備メッシュによる「不⾃然な幾何⼲渉」を判別
VLM
対称的⼀貫性推論
アーキテクチャ
NG
80
最終的にVLMへ画像を渡して判定します。
ここでは、正解となる基準画像とチェック対象画像にメタデータを加えて潜在空間で対象評価を⾏います。
VLMを利⽤して、チェック対象画像が基準画像の特徴を正しく捉えているかを推論します。
ガイドとなる基準を与えることで、ルールベースでは出来ない、柔軟な特徴の⼀致・消失を⾼精度で検出することが出来ます。
80


# Page. 82

![Page Image](https://bcdn.docswell.com/page/GJ8XKGVV7D.jpg)

解析結果Webページで結果表⽰
▼どのキャラクターに被っているか
▼デフォルト装備との⽐較
成果︓
サンプリング最適化 / ルールベース最適化 で現実的なチェックに落とし込み
VLMによる客観的評価で⼈間の判断基準に近い検出 / Webページで問題箇所の特定を容易化
⼈間が5,280時間かかるチェックを72時間に短縮
81
判定結果はWeb上で確認でき、チーム全体で結果を共有することが出来ます。
詳細表⽰では、デフォルト装備と検査対象装備の⽐較表⽰やどのキャラクターに被っているかを素早く特定できる仕組みになっています。
これにより、アーティストは修正対象を探す作業から解放され、即座に修正を⾏うことが可能です。
成果として⼈間が5,280時間かかるチェックを72時間に短縮できました。
81


# Page. 83

![Page Image](https://bcdn.docswell.com/page/LJL8ZG5RER.jpg)

82
最後に、これらのエージェントを継続運⽤する仕組みについてご紹介します。
82


# Page. 84

![Page Image](https://bcdn.docswell.com/page/47M6VQ3PJW.jpg)

運⽤基盤︓⾃動プレイをまわし続ける仕組み
⾃動プレイの実⾏管理を⾏うCIウェブサービス
独⾃のCIツールでタスク管理
中央エージェントサーバーとして、
⾃動プレイの実⾏・管理を⼀元化した
タスク⾃動割り振り
テストマトリクスを⽤いた網羅型テストと、
不具合の頻出箇所を重点テストする
ホットスポット型テストを組み合わせたタスクの
⾃動割り振り
最新ビルドの⾃動インストール
ゲームインストーラーサーバーに新しいビルドを
問い合わせ、最新のビルドを反映
83
⾃動プレイは実⾏するだけでは⼗分な効果を発揮できません。
どのようなテストをどの端末で実⾏するか、結果をどう管理するか、これらを体系的に制御する仕組みが必要です。
私たちは⾃動プレイの運⽤を⾏うために、Jenkinsのようなパイプライン管理の考え⽅を参考にしつつ、⾃動プレイに特化した独⾃のCIツールを実装しました。
このCIツールを中央サーバーとして、実⾏管理を⾏っています。
このツールでは⾃動プレイはタスクとして定義されており、これを各端末に割り振ります。
もちろん最新ビルドの⾃動インストールにも対応しているため、常に最新の問題をチェックし続けることができるようになっています。
83


# Page. 85

![Page Image](https://bcdn.docswell.com/page/P7RP28QYJ9.jpg)

運⽤基盤︓利⽤者に最適化された結果のビュー
利⽤者が⾒たい情報ごとに個別のビューを提供
⼀覧ビュー
統計ダッシュボード
パフォーマンスビューアー
タスクごとの実⾏結果を確認できる
実⾏結果を統計情報として
グラフ化しビルド全体の安定性
などを俯瞰してみるダッシュボード
⾃動プレイのFPS情報を収集し、
動画とFPSのグラフを確認できる
84
そして⾃動プレイの価値を最⼤化するため、⾃動プレイの実⾏結果を、その結果ごとに個別のビューを実装しました。
実⾏結果を1件1件確認するための⼀覧ビューでは、ログや動画にすぐにアクセスし、⾃動プレイの状況を深く確認できます。
統計ダッシュボードでは実⾏結果を稼働時間、稼働マシン数、クラッシュ件数などでグラフ化しており、⽇々の安定度をグラフを⾒るだけで判断できるようにしました。
また⾃動プレイ実⾏中のFPS情報を収集し、基準を下回った箇所のリストアップや、
実際のゲーム動画とグラフを確認できるパフォーマンスビューアーなどを⽤意しました。
84


# Page. 86

![Page Image](https://bcdn.docswell.com/page/PJX3D8547X.jpg)

運⽤基盤︓LLM活⽤
⽇本語での状況確認やタスク発⾏機能
LLMサマリー機能
CIツールでのタスク実⾏状況を⽇本語で確認可能
またタスクの発⾏もチャットで依頼できる
毎⽇の実⾏結果を集約し、LLMを⽤いてサマリーを作成
夜間や休⽇の稼働状況もサマリーで⼀⽬でチェック可能
85
運⽤においても利⽤者の負担を下げるためにLLMを活⽤した⼯夫をいくつか⾏いました。
その⼀つが⽇本語による状況確認やタスク発⾏機能です。
⽇本語で指⽰を出すことで、必要な情報をLLMが整理して提⽰してくれたり、曖昧な指⽰でタスクの発⾏が可能になっています。
またLLMサマリー機能として、⾃動プレイの結果を毎⽇9時に収集し、前⽇の結果のサマリーを作ってもらうようにもしました。
これらによって、サマリーをみるだけで状況確認を⾏うことができ、運⽤負荷を軽減しています。
85


# Page. 87

![Page Image](https://bcdn.docswell.com/page/3JKYXK6P7D.jpg)

実践(AIエージェント)のまとめ
■⾃動プレイエージェントを中核に、
パフォーマンス・ビジュアル破綻・運⽤基盤を組み合わせた先回り型 QAシステムを構築した。
■パフォーマンスチェックエージェントは、
⾃動巡回・計測・原因分析・修正提案までを⾃動化し、チューニング作業の効率を⼤幅に向上。
■ビジュアル破綻チェックエージェントは、
VLMとルールベースを組み合わせることで⼤量のカットシーンを⾃動評価し、
⼈⼿5,280時間相当の確認作業を72時間まで削減した。
■独⾃CI基盤とLLM活⽤によって、
⾃動プレイ結果の収集・分析・レポート作成までを継続的に運⽤できる体制を確⽴。
■その結果、課題発⾒から修正提案までをEnd-to-Endで実⾏する
「先回り型デバッグ」が実運⽤レベルで成⽴できた。
86
この章のまとめです。
⾃動プレイを中⼼に、パフォーマンス、ビジュアル破綻、そして運⽤基盤の紹介をしました。
これらを組み合わせて先回り型QAシステムを構築しています。
課題の検出だけではなく、原因分析、修正提案、継続運⽤までを含めたEnd-to-Endの仕組みとして実⽤化できています。
ここまでが実践事例のご紹介でした。
86


# Page. 88

![Page Image](https://bcdn.docswell.com/page/LE395Z64E5.jpg)

87
まとめとしまして最後に、⼀番お伝えしたいメッセージです。
87


# Page. 89

![Page Image](https://bcdn.docswell.com/page/8EDGDRV5EG.jpg)

核⼼メッセージ︓「盾」と「⽭」
【盾】- AIが担う
【⽭】 - ⼈間が注ぐ
「神経を削る網羅チェック」
「⾯⽩さの構築」
天⽂学的なパターン検証、
膨⼤なテキストの整合性チェック。
⼈間の限界を超えた物量戦から開発者を解放し、
プロジェクトを守る強固な「盾」となる。
浮いた時間と精神的リソースを、
ゲーム本来の価値である「クリエイティビティ」
「⼿触り」「感動」の創出へ。
⼈間はすべての情念をここに注ぎ込む。
AIは⼈間の代替ではない。
⼈間（⾯⽩さ）× AI（網羅・耐久）こそが、次世代ゲーム開発における最⼤の競争⼒になる。
88
私たちはAIを⼈間の代替として考えていません。
AIが得意なのは、膨⼤な組み合わせの検証や⻑時間の耐久試験、繰り返し作業のような、⼈間にとって負荷の⾼い領域です。
⾔い換えると、AIは品質を守るための「盾」と考えています。
⼀⽅で、⼈間が本当に注⼒すべきことはゲームの⾯⽩さについてです。
プレイヤーにどんな体験を届けたいのか。どんな驚きや感動を⽣み出すのか。どんな遊びを作るのか。
そうした創造的な仕事は、⼈間だからこそ価値を発揮できます。
AIによって⽣まれた余⼒や時間を、⾯⽩さの追求へ再投資する。
これが私たちの考えるAI活⽤の理想形です。
⼈間とAIは競争する存在ではなく、互いの強みを活かして協⼒する存在だと考えています。
88


# Page. 90

![Page Image](https://bcdn.docswell.com/page/V7P3XWVDJ8.jpg)

ご清聴ありがとうございました
89
以上で当セッションを終了いたします。
ご清聴、ありがとうございました。
89


