Hakoniwa-Atlas

箱庭(Hakoniwa) Atlas 合同会社箱庭ラボ 森崇

はじめに 現代の教育・研究・開発・展示・現場運用のあらゆる分野で、 「システムがつながらない」「再現ができない」「準備が大変」 といった“分断”の課題”が共通して現れています。 箱庭は、それらの分断の課題をゆるやかに接続し、 仮想と現実をつなぐ“シミュレーション・ハブ” として設計されています。本資料『Hakoniwa-Atlas』では、 この技術的構想と、それを支える多様な資料・技術要素を俯瞰的に整理し、 「自分の課題に、箱庭がどう役立つのか？」を見つける地図として構成しています。 ユースケース別の活用イメージや、各技術資料への導線も含めて、 導入検討や全体理解のための“出発点”としてご活用ください。 2

なぜ箱庭か？ーバラバラな世界をつなぐために システム全体の統合が難しい ・非統合状態 - 各システムが孤立している・・ バーチャル空間 ・コミュニケーションの壁 - システム間のデータ共有が困難 - システム間の時刻同期が困難 ・相互運用性の壁 - バーチャル世界のシミュレーション - リアル世界での実証実験との統合 - リアルとバーチャル間の相互運用 箱庭はこれらを解決し、 スムーズなシミュレーション連携を実現を 目指している Simulator1 Simulator2 実証実験場1 実証実験場2 リアル空間 3

分野ごとに見えてくる“つながらなさ”の壁 分野 ありがちな“分断” 困っていること ロボット教育 実機とシミュレーションで環境・言語が違う 教える側も学ぶ側も大変…準備が面倒 研究/開発 ツール／OS／言語がバラバラでつなげにくい 再現性が低い／属人化しがち デジタルツイン リアルと仮想がすぐには接続できない データが行き来せず、現場に活かしにくい 展示 見映えするアプリを接続したいけど… 環境構築に手間がかかりすぎる 4

箱庭のシミュレーション・ハブ構想 多様なシミュレーションを統合するプラットフォーム →分散シミュレーションハブ - 単一のシミュレータではありません - 異なる機能やプログラム、シミュレータなどを統合します 環境 モデ ル 3Dモデル コントローラ Unity等 3Dシミュレータ 制御アプリケーション 通信ミドル 箱庭 ランタイム 箱庭 アセット アセット管理・制御 アセット間通信 スケジューリング・時間管理 シミュレーション制御 5

なぜ “ハブ” になれるのか？ クラウド環境 [凡例] 箱庭アセット 箱庭アセット 箱庭コンダクタ 箱庭 コンポーネント 既存の シミュレータや プログラム 箱庭API 箱庭PDU通信 シミュレーション 時刻 負荷分散用 コンピュータ 箱庭PDUデータ 箱庭時刻 箱庭コア 現実空間 箱庭ブリッジ 箱庭コア機能 時間と通信と現実を繋ぐためのアーキテクチャ構想 6

箱庭ハブ構造を支える5つの技術要素 カテゴリ ユーザ機能 コア機能 コア機能 コア機能 拡張機能 構成要素 説明 箱庭アセット 既存のシミュレータやプログラムを箱庭APIを通して箱庭アセット化することで、異なるシミュ レータやシステム間の通信を統一的に扱えるようにする。例えば、Gazeboで物理シミュレー ションを行いながら、Unityでのビジュアライズを統合的に運用できる環境を構築することが可 能である。 箱庭API 箱庭APIは、モジュール性を実現するための中核的な役割を果たしている。また、APIは、異 なるプログラミング言語や環境に依存しない設計（例: Python、C/C++、C#、Rust、 Elixirなどへの対応）を採用しており、幅広いカスタマイズニーズに応えることができる。 箱庭時刻同期 箱庭アセット間のシミュレーション整合性を保つためには、時刻の同期が必要である。箱庭は 分散シミュレーションを可能にする独自の「時刻同期機能」を備えており、リアルタイム性と再 現性のあるシミュレーションを実現する。 箱庭PDUデータ 箱庭アセット間の通信データの形式を標準化している。特に、ROS IDL（Interface Definition Language）を用いることで通信データの構造を共通化し、各システム間でス ムーズなデータ交換を実現する。また、箱庭は多様な通信プロトコル（例: ROS、Zenoh、 MQTT、UDP、共有メモリ）に対応しており、異なる環境や要件に柔軟に適応できる。 箱庭コンポーネント 箱庭コンダクタや箱庭ブリッジといった主要なコンポーネントを提供する。箱庭コンダクタは、シ ミュレーション環境全体の制御を担い、時刻同期や負荷分散を実現する。一方、箱庭ブリッ ジは、仮想空間と現実空間を繋ぐ中継役として機能し、リアルタイム通信を円滑に行う。 7

分野ごとの箱庭の活用事例 分野 活用事例 ロボット教育 ETロボコンのシミュレーション環境 研究/開発 ドローンのシミュレーション環境 デジタルツイン デジタルツインの構築と運用 展示 大阪万博 × XR展示体験 8

ETロボコンのシミュレーション環境(課題) 2020年のコロナ禍 実機ベースの競技会 9

ETロボコンのシミュレーション環境(実現) Unity上のロボットとマイコンシミュレータを連携させたシミュレーションの実現！ μs（マイクロ秒）以下の精度で動作するマイコンシミュレータAthrillと、 Unity上のロボットシミュレーションをリアルタイムかつ高い再現性で統合 マイコン・シミュレータ 制御処理(C/C++) EV3RT 超音波センサ ASP3/ASP athrill モーター カラーセンサ センサ用ライト ■構成要素 ー ロボット本体 ・モータ/センサ等 ー ロボットを制御するマイコン ・RTOSおよびロボット制御が動きます ー 外部環境 ・走行コース/障害物等 10

ドローンのシミュレーション環境(課題) そもそもドローン飛ばせない！ - 都市部／校内ではドローンを安全に飛ばすことができない - 法規制（航空法、電波法）による飛行制限の増加 - 初学者や試作段階では物理的リスク（墜落、事故）も高い - 飛ばせる場所／時間／天候に制約があり、自由に実験できない - シミュレーターも専門知識（ROS, Gazebo, Unity）を要求される 11

ドローンのシミュレーション環境(実現) 箱庭で“飛ばせる”ドローンシミュレーションを実現！ FlightController hakoniwa-drone-core Drone Physics/Sensor (C/C++) MATLAB/Simulink Plant/ Sensor Model Generate Simulation parameters 箱庭コア Scenario Test Python scenario Game Engine Unity Unreal Engine Ground Control PS4 Controller 12

デジタルツインの構築と運用(課題) 仮想空間と現実空間を繋げる上での課題 データ交換の互換性の確保 システム導入の容易化 仮想空間 通信網 現実空間 システムの拡張性の確保 多様な開発環境への対応 通信のリアルタイム性の確保 ネットワーク 構成 Wi-Fi構成 5G 構成 13

デジタルツインの構築と運用(実現例) 仮想空間と現実空間を箱庭ブリッジを介してリアルタイムに連携 MacBook Pro上で動作する箱庭の仮想 空間が表示されている。この空間では、現 実のロボットのツインが仮想空間に再現され ている。また、バーチャルドローンが飛行して おり、信号や荷物が存在する場面がシミュ レートされている。さらに、「QUEST3」の位 置情報もバーチャル空間内で青色のオブ ジェクトとしてフィードバックされ、バーチャルと リアル双方の位置関係が統合されている様 子が視覚的に表現されている。 LiDARを用いてロボットの位置情 報を計算している様子を示してい る。この位置情報はバーチャル空 間にフィードバックされ、ロボットの 正確な位置がバーチャル上でも反 映されていることを意味している。 現実世界に存在するロボットとLiDARを基に、リアル空間とバーチャル空間が融合してい る状態を表している。現実空間では、ロボットとLiDARのみが存在しているが、VRゴーグ ル「QUEST3」を通して見ると、バーチャル空間上のドローンや荷物が重ね合わされて表 示され、リアルとバーチャルが統合されたシーンを視覚的に確認することができる。 14

大阪万博 × XR展示体験(やりたいこと) 世界中の人に、 未来の社会を “体験”として届ける リアルとバーチャルの融合体験！ Unity＋ARアプリ＋箱庭ブリッジの技術で実現 15

大阪万博 × XR展示体験(実現) “遊び”の中に、未来の社会実装がある - 箱庭ドローンのAR体験 - 仮想でリアルなドローンを操縦！ - 2台のQUEST3でバトル！！ - 実現アーキテクチャ（次ページ） 16

リアルとバーチャルの融合体験を実現する 箱庭アーキテクチャ udp 箱庭ARブリッジ (Python) 箱庭共有 シミュレーション (Unity/C#) udp http 箱庭Webサーバー (Python) 箱庭PDU (共有メモリ) 箱庭コア機能 (C/C++) 箱庭PDU通信パッケージ (C#) Webブラウザ 箱庭WebGLアプリ (Unity/C#) ws 箱庭ARアプリ (Unity/C#) 箱庭ドローン シミュレータ (C/C++) 箱庭PDU通信パッケージ (C#) Webソケット (JavaScript) Webソケット (C#) 17

最後に：箱庭ドキュメント集 • 箱庭はTOPPERSプロジェクトでオープンソースとして公開しています。 • 箱庭の使い方や内部設計・実装についてはドキュメント化を進めています。 • 現時点で、次ページにあるドキュメントが揃っています。 • （ただし、灰色部分は未完成です、今後にご期待ください） 18

ドキュメント PDU 箱庭コア 箱庭コンポーネント 箱庭アセット Runtime Delegation Unity (Ver.1) Time ZERO Design Unity使い方 Unity-Asset (Ver.1) Python-Asset Overview Bridge WebServer Bridge MAVLink Drone-Architecture (Ver.1) Bridge Architecture Bridge AR Bridge Zenoh/ROS2 Athrill MuJoCo Unity-PDU (Ver.2) Unity-SIM (Ver.2) Unity-Asset (Ver.2) Drone-Program (Ver.1) Drone-Unity (Ver.1) Drone-Unity (Ver.2) 19

• https://www.docswell.com/s/kanetugu2015/KJLJNV-hakoniwa-tutorial-unity
• https://www.docswell.com/s/kanetugu2015/57RYE1-2024-07-16-154603
• https://www.docswell.com/s/kanetugu2015/538X4Y-hakoniwa-design
• https://www.docswell.com/s/kanetugu2015/Z8GXLL-hakoniwa-overview
• https://www.docswell.com/s/kanetugu2015/ZQ8VN7-hakoniwa-pdu
• https://www.docswell.com/s/kanetugu2015/ZEXN36-hakoniwa-time
• https://www.docswell.com/s/kanetugu2015/57VXLD-hakoniwa-unity
• https://www.docswell.com/s/kanetugu2015/ZM1E9N-hakoniwa-unity-asset
• https://www.docswell.com/s/kanetugu2015/5EN2WG-hakoniwa-python-asset
• https://www.docswell.com/s/kanetugu2015/5Q86WE-2024-05-17-141919
• https://www.docswell.com/s/kanetugu2015/KXYR8Y-2024-05-19-160903
• https://www.docswell.com/s/kanetugu2015/524RVN-2024-05-18-111952
• https://www.docswell.com/s/kanetugu2015/5EXNX1-athrill-overview

箱庭Unityフレームワーク ver2の概要 • 今あるUnityプロジェクトをそのまま箱庭シミュレーション世界へ接続 • ver1までは、「箱庭の世界で作って」でした（反省→思想の転換しました）。 • ver2からは、「今あるUnityプロジェクトに後付けできる」コンセプトに変更しました。 • Unity Package Managerでインストールできる！ ↓箱庭通信だけならPDUパッケージ！ ↓時刻同期も含めたいならSIMパッケージ！ 箱庭PDU Unityパッケージ 箱庭SIM Unityパッケージ 今あるUnityのプロジェクト 20

箱庭ブリッジ拡張 • 箱庭ブリッジを増やせば、箱庭の外の世界がもっとシームレスに繋がる！ ARゲーム 空間 箱庭PDU 箱庭PDU 箱庭PDU 箱庭PDU ROS システム 箱庭ブリッジ (SHM) 箱庭ブリッジ (ARゲーム側) 箱庭アセット Web空間 箱庭PDU 箱庭PDU 箱庭PDU 箱庭PDU 箱庭ブリッジ (MAVLINK) 箱庭ブリッジ (Web側) Mission Planner 箱庭コア機能 21

箱庭MuJoCoの概要 • MuJoCoを、ただの物理エンジンでは終わらせない。 • 箱庭でMuJoCoを手軽に使えるようにしました • MuJoCoの可能性を箱庭を媒体とすることで、さらに広げることができます！ 箱庭ドローンの 剛体シミュレーション化 MuJoCo ビジュアライズとして 箱庭アセット 箱庭アセット 箱庭アセット 箱庭ドローン 箱庭ドローン ロボットとドローンの 協調シミュレーション 箱庭アセット 高精度で高速な剛体シミュレータ 箱庭コア機能 22

箱庭MuJoCo連携 MuJoCoのシミュレーション MuJoCoのシミュレーションをUnityでビジュアライズ • https://www.youtube.com/watch?v=iObkCVm-QtA 23

• https://www.youtube.com/watch?v=iObkCVm-QtA

箱庭MuJoCoと箱庭ドローンの連携シミュレーション • https://www.youtube.com/watch?v=O0LY4j9NN9k 24

• https://www.youtube.com/watch?v=O0LY4j9NN9k

箱庭コア機能をより使いやすくするために • 箱庭コア機能のインストーラ対応 • コア機能の拡張ポイント対応（ベンダ毎に独自機能追加が可能） • 例：リアルタイムなデータ受信を可能にする機能を追加可能 箱庭コア機能 インストーラ 手軽に導入 拡張ポイント インタフェース 箱庭コア機能 ベンダ１の 拡張機能 ベンダ２の 拡張機能 独自機能 追加できる ベンダ３の 拡張機能 25

箱庭 Runtime Delegation • 分散シミュレーション実行中に、シミュレーション実行権限を動的に移譲する！ • シミュレーション精度が求められるタイミングで動的に移譲することで、違和感のない動きを実現 重力の影響を受ける シミュレーション ドローンが荷物を運搬 するタイミングで変更 ドローンの荷物運搬 時のシミュレーション ノード１ ノード２ 物理SIM1 (重力) 物理SIM1 (重力) 物理SIM2 (荷物運搬) 物理SIM2 (荷物運搬) 物理SIM3 (TWIN) 物理SIM3 (TWIN) ノード１ ノード２ 物理SIM1 (重力) 物理SIM1 (重力) 物理SIM2 (荷物運搬) 物理SIM2 (荷物運搬) 物理SIM3 (TWIN) 物理SIM3 (TWIN) Runtime権限の移動 26

箱庭 Runtime Delegationデモ Runtime Delegation なし Runtime Delegation あり https://www.youtube.com/watch?v=0N4g3U6ClrM https://www.youtube.com/watch?v=BiP74y4mLNc 27

• https://www.youtube.com/watch?v=0N4g3U6ClrM
• https://www.youtube.com/watch?v=BiP74y4mLNc

ご清聴 ありがとうございました！ 28