PLATEAU AWARD 2022 決勝プレゼン資料「VARAEMON」

PLATEAU AWORD 2022応募作品 決勝プレゼン資料 ネットワークマルチプレイ対応ＶＲ/ＡＲ連動アプリケーション ～バラエモン 巨大ロボット対戦編～ @kitposition 1

コンテンツメーカー きっポジ@kitposition Unityクリエイター 自己紹介 ・主にUnityを使った映像作品や小ネタの制作 ・最近はXRにハマり中 ・XRを利用した学習教材の研究 →今春より放課後等デイサービスの学習活動にて実践予定 @kitposition 2

ＶＡＲＡＥＭＯＮ Ｖｉｒｔｕａｌ and Augumented Reality Application Equipped with Multiplayer On the Network ネットワークマルチプレイ対応ＶＲ/ＡＲ連動アプリケーション 3

やりたかったこと 現実の街でロボットを操縦したい！ PLATEAUを知った瞬間にアイデアはできていた VRで操縦 ARで召喚 4

ギャラリー～① AR（スマホ） SIDE 座標推定完了 オクルージョン用PLATEAU 微調整モード （調整が完了するとモデルは透明化） タイトル画面 プレイ画面 5

ギャラリー～② VR SIDE プレイ画面(歩行時） プレイ画面(発砲時） プレイ画面(ジャンプ時） 6

アプリ構成の概要（詳細は次頁の「参考」にて） AR 現実 SIDE 座標推定 Geospatial API 座標同期・通信 SIDE マップ 選択 Cesium for Unity Server （全体制御） 座標同期 座標同期 Cesium for Unity 国土交通省 PLATEAU 3DTiles 配信サービス 点線内は準備中 現状のマップは 札幌のみ （ここが実現すると 全国に対応） SIDE Photon Fusion 座標送信 国土地理院 逆ジオコーディング API VR PLATEAU（不可視） PLATEAU（可視） コリジョン＆ オクルージョン ステージ オブジェクト 7

（参考）PLATEAUモデルの配置手法について LT03登壇時点 一次審査時点 現在 手法 単一エリアのモデルを 単純に配置 札幌全域のモデルを 事前にエリア毎に分割作成し サーバーから動的にロード Cesium for Unityで 現在地を中心としたマップを 動的に生成 対応可能 エリア モデルを 用意したエリア（単一） モデルを 用意したエリア（複数） Cesium対応エリア全域 〇 実装が簡単 × 単一エリアしか対応しない （モックアップ向け） アプリ容量を気にせず 広いエリアに対応 モデルに色々な ギミックを仕込みやすい エリアごとのモデルを 作るのが大変 （PLATEAU SDK for Unityが便利） 対応エリアが広い 現実との位置誤差が 最も小さい （気がする） 生成の待ち時間がある モデルにギミックを 仕込みにくい 8

（参考）Photon Fusionのネットワークトポロジー（構造）について LT03登壇時点 一次審査時点 現在 手法 共有モード Hostモード 専用サーバーモード 特徴 特定のホストが存在しない 全クライアントが対等に接続 プレイヤーのうち１台（今回はAR端末）が ホストを兼ねる サーバーがホストとして ゲーム全体の管理権を持つ サーバーの設置が不要 多人数でも安定した プレイが可能 サーバーの設置が不要 〇 １人でもプレイヤーがいれば セッションは維持される Fusionの新機能に対応 旧バージョンに類似 × Fusionの新機能が 一部使えない Fusionの新機能に対応 ホストを兼任するプレイヤーに 負荷がかかる サーバーの設置が必要 ホストが退出すると セッションが終了する （サーバー用アプリ自体は Unityでビルドできる） ※ホストマイグレーション（移譲）機能はある 9

苦労したところ ① 全く異なる世界（現実とARとVR）を同期させるのが大変 ・オンラインゲームは「同じ世界で同じように動く存在」を同期するケースが多い（右図） →ARとVRの同期は全く情報がなく試行錯誤の連続 Player A ② デバッグが超メンドクサイ ・手伝ってもらったり… ・隙間から覗いたり… @jun_mh4g（じゅん）さん（DoMCN） @s_haya_0820（さって～）さん（株式会社ProVision様） 最終デバッグへのご協力ありがとうございました！ Player B ③ 冬はARの大敵 ・認識精度の低下 ・邪魔なリア充 ・寒くて スマホ操作無理 10

苦労したところ ④ ロボへの拘り ・自分ではモデリングできないのでネットを探しまくる →BOOTHに凄いロボットがあったので使わせていただきました！ 妖精の姿煮様 「ワンコインロボット」 ・ロボットの各部が独立して同期する仕組みの実装 →「操縦している感」を出すために妥協できない部分 ロボットボディ VRHMDのコントローラーのボタンで操縦 コックピット ボディに追従しつつ 水平と正面を極力保つように独立駆動 カメラ・手（＝中の人） コックピットに追従しつつ VRHMD・コントローラーの動きをトレース 11

今後の課題 ① 一次審査プレゼン資料より ほぼ解決 Cesiumの採用で 常にAR開始位置をモデル原点にできた ほぼ解決 URP用マスクシェーダーの採用と Cesium採用による精度向上で実現 進行中 FusionのServerモードに対応したので 遅延対策を実施可能になった 12

今後の課題 ② ゲームとしての完成度アップ 現状は「辛うじてプレイできる」程度でゲームとはいえない… ・ロビー、マッチングシステムなどオンラインゲームとして必要なシステムの整備 ・武器・ルールなどの充実・整備 ・機体・中の人（現状はカメラと手だけ）のバリエーション充実 ③ ARとＶＲどちらに中心を置くか？ 現状はARで座標を決定しなければ遊べない ・ARに中心を置いた場合…よりイベント的 ・VRに中心を置いた場合…よりパーソナル 13

ARを中心とした場合のイベント例 ※現在未搭載の機能の実装や社会的通信インフラの発展を前提とした 将来のイメージです。 VARAEMON BATTLE ARENA SAPPORO 202X（仮称） 現地オーディエンス （AR観戦） ※現地特典あり ARプロカメラマン オンライン配信オーディエンス ・プロカメラマン、現地オーディエンスによる AR映像 ・各プレイヤー視点・俯瞰視点によるCG映像 パイロット：現地に行かずに参戦できる 全国の VARAEMONパイロット （VR参戦） ※各自のオリジナル機体 観戦者：自宅でも現地でも観戦できるが、 現地観戦者にはパイロットとのライブ交流などの特典を用意 イベンター：選手のマッチングと集客が容易になる 14

ゲーム以外でのユースケース～① 教育用途 VARAEMON 紹介！おらが街（仮称） ここが札幌の 中心部だべさ 札幌の放課後等デイサービス（私が働いている会社）で 学習活動に活用すべく現在開発中です！ 現地在住の 案内人 最新情報はコチラ ここが札幌の 中心部だべさ VRで操縦 ARで表示 すごーい 行って みたい 遠隔地の 学校など 15

ゲーム以外でのユースケース～② 映像制作 VARAEMONムービーメーカー（仮称） バーチャル技術で「CGを実際に現地で撮影する」ことで より臨場感を持った動き・カメラワークを実現します モーションアクター ARカメラマン 監督 データを記録して スタジオで編集し クオリティアップ 16

その他のユースケース～③ その他 ・VARAEMONライブ バーチャルのライブを現地でもARサテライト観戦 ・現地サテライトの観客のみインセンティブ付与など 札幌市の 災害対策は… ・VARAEMON学術セミナー ＰＬＡＴＥAＵのオープンデータを現地で可視化 →専門家が現地でバーチャル登壇して解説 ・VARAEMON選挙演説会 候補者はバーチャル演説、 支援者は現地に集合して演説を拝聴 興味ない人には見えない、聞こえない 17

ありがとうございました！ @kitposition 18