胸部取付カメラを用いた対面型トレーディングカードゲームの自動譜面生成手法

胸部取付カメラを用いた 対面型トレーディングカードゲームの 自動譜面生成手法 新嶌道大、中村聡史 (明治大学)

背景 将棋や麻雀やトレーディングカードゲーム(TCG)などの対戦ゲーム において、各ターンの判断や意図について意見を交わす感想戦が 重要な学びの機会 感想戦：双方の対局者の間で対戦を振り返る 相手の視点を取り入れながら自己の判断を再構築することで 戦略思考を深める実践として、プレイヤーの成長に大きく貢献 2

背景 対戦内容を正確に記憶・再現することが難しい TCGでは将棋や麻雀などに比べ 、1 ターンの中に複数の行動が 連続して行われ、相手の手札などの非公開情報やコインなどの ランダム要素 勝敗が決定的に動いた場面や目立ったミスにのみ注目が集まり そこに至るまでの判断や細かいプレイは感想戦で議論されない 3

背景 対戦の内容を自動的に記録し後から正確に再現できる環境の整備が必要 真上のカメラを利用しカードなどの要素を自動検出 [福島ら 2025] 実際の対面対戦環境では十分に検討されていない 福島颯太，宮本友樹，片上大輔：TCGにおけるリアルタイム自動実況システムの開発， HAIシンポジウム 2025 4

目的 感想戦の基盤となる対戦記録を実環境で 自動的に記録および再現するシステムの実現 5

目次 ポケモンカードゲームの説明 胸部カメラによるカード検出 譜面自動生成システム 精度評価と考察 今後の展望 6

ポケモンカートゲーム 選定理由 ◆国内のプレイヤ人口の多さ ◆カード以外のアイテムの存在により複雑度 が高いため、一般化可能性が高い ©Pokémon 7

ポケモンカードゲーム カードの種類は大きく分けて4種類 ポケモン エネルギー ©Pokémon 場に出るカード グッズ サポート ©Pokémon 場に出ないカード 8

ポケモンカードゲーム アイテム ダメージカウンタ ポケモンが受けたダメージ量を 表すためのチップ コインダイス カードの効果判定で使用される 9

ポケモンカードゲーム ①手札 プレイヤが保持している 対戦相手に非公開カード ②バトル場 攻撃を行うポケモンを置く ③ベンチ 待機中のポケモンを置く 10

ポケモンカードゲーム ①手札 プレイヤが保持している 対戦相手に非公開カード ②バトル場 攻撃を行うポケモンを置く ③ベンチ 待機中のポケモンを置く 11

ポケモンカードゲーム ①手札 プレイヤが保持している 対戦相手に非公開カード ②バトル場 攻撃を行うポケモンを置く ③ベンチ 待機中のポケモンを置く 12

ポケモンカードゲーム ①手札 プレイヤが保持している 対戦相手に非公開カード ②バトル場 攻撃を行うポケモンを置く ③ベンチ 待機中のポケモンを置く 13

提案手法 プレイヤの胸部に装着したカメラで撮影された対戦映像から 物体検出モデルYOLOにより手札と盤面のカードやアイテムを検出 14

提案手法 胸部カメラ • 手札も含めた検出が可能 • 専用のカメラや特定の環境が不要 真上のカメラ 15

学習データ構築 4つのモデルをYOLOで独立に学習 1. 手札カード検出 2. 盤面カード検出 3. ダメージカウンタ検出 4. コイン検出 アノテーションにlabelImgを使用 16

自動検出 17

譜面自動生成システム 譜面 対戦中の各イベントに対応して その時点の手札と盤面を時系列順にならべたもの 18

譜面自動生成システム 胸部カメラ映像は俯瞰カメラのように盤面全体を常時捕捉する ものではなく、限定的な視点に基づく断片的な観測 不完全かつノイズを含む映像から手札・盤面の変化を推定し 対戦の進行を再構成する 19

譜面自動生成システム 手札の登録 いつ・どのカードが手札に加わったか判定 手札の使用 カードの種別ごとに異なる条件で使用を判定 盤面の更新 ①エネルギーカードの付与先 ②バトル場とベンチのポケモンの入れ替わり ③ポケモンごとのダメージカウンタの種類と個数 20

精度評価 著者 × 協力者5名とそれぞれ3試合ずつ対戦 両プレイヤの胸部にスマートフォンを装着 著者視点と協力者視点の2視点の映像を同時に記録 15試合分、計28本の映像を使用(協力者視点2本除外) 検出モデルの性能と生成された譜面の双方から システムの有効性を検証 21

カード検出の精度 YOLOが各フレームに表れるカードを正しく認識できるかを評価 著者視点と協力者視点の動画からランダムにフレームを それぞれ250枚、計500枚抽出 人手で作成した正解データとYOLOの検出結果 →モデルの検出精度を評価 22

カード検出の精度 胸部カメラ映像でも譜面を生成する上で十分な精度が確認 手札と比べて盤面のカードの検出精度が低い 対象 適合率 再現率 F値 手札のカード 0.92 0.91 0.91 盤面のカード 0.79 0.93 0.85 23

譜面精度 自動生成譜面と正解譜面をイベント単位で比較 手札と盤面の状態から譜面の精度を評価 - YOLOによるカード検出を利用して どの程度イベントを再構成できるか？ - どんな人でも胸部カメラを利用し映像を収録できるか？ 24

譜面の精度結果 ①手札 登録 手札使用 視点 適合率 再現率 F値 視点 種類 著者 0.61 0.82 0.70 著者 ポケモンとエネルギー 0.88 0.81 0.85 協力者 0.55 0.42 0.47 協力者 ポケモンとエネルギー 0.63 0.32 0.43 著者 グッズとサポート 0.41 0.52 0.46 協力者 グッズとサポート 0.27 0.30 0.29 適合率 再現率 F値 著者視点と協力者視点の間に精度差 手札使用でカードの種類による精度差 25

譜面の精度結果 ②盤面 エネルギー付与 正解率：0.76 ポケモンの配置 正解率：0.61 ダメージカウンタ 正解率：0.40 26

カード検出の考察 盤面のカードの検出精度が低い原因 • • 盤面のカードがカメラから遠く小さく写る 手や手札で一部しか見えない場面 27

譜面生成の考察 手札使用でカードの種類による精度差 →検出アルゴリズムによる違いが影響 盤面状態の推定 →手札や体で隠れる、盤面のカードが増えると誤検出が増加 実運用に向けての精度向上 感想戦で補完できる要素、議論がうまくできなくなる要素 28

課題と制約 胸部カメラの課題 著者と協力者で精度に大きな差、協力者で一名手札が全く写らない →撮影方法を整備しプレイヤが慣れる必要 YOLOの制約 学習データの作成、学習したカードのみの検出 29

今後の展望 システムを用いて感想戦を行い評価 生成された譜面が感想戦で活用できるか？ 生成された譜面が感想戦をどう変化させるか？ 他TCGへの応用 30

まとめ 背景 対戦内容を記憶できず感想戦で議論されない 目的 対戦を実環境で自動的に記録するシステムの実現 手法 胸部カメラの映像からYOLOを利用し譜面生成 評価 カード検出はできるが不完全な譜面 考察 胸部カメラの利用に課題 31