箱庭まつり#2 発表スライド 〜万博に向けた挑戦と最新アーキテクチャ〜

これが大阪万博に向けた箱庭 の最新アーキテクチャだっ！ 森 崇 (箱庭ラボ)

アジェンダ 1. はじめに 2. 目指せ大阪万博！ 3. 箱庭とは？ 4. なぜ今「箱庭」なのか？ 2

最近 『感動』 したことありますか？ 3

『人』と『時』を超えた 4

学びたい 5

OS の仕組みを 学びたい CPU/デバイス の仕組み を学びたい ソフトウェア 設計を 学びたい 箱庭 作りたい C言語 組込み技術 UML/アーキ IoT/自動運転 K&Rの教科書 を骨の髄まで しゃぶり尽くす なぜ動くのか 何が起点か 自分で作れるか 一人で書ける コード量の限界 を超えたい みんなで 同じ目線で 一緒に創りたい 2000年 入社 Unity 学びたい ゲーム空間で ロボット動かしたい 強化学習 学びたい 勝手に学ぶ AI原理を知りたい ドローン工学 学びたい なぜドローンは 空を飛べるのか 制御工学 学びたい 制御の根本 原理を知りたい 6

制御系 組込み系 箱庭 AI系 ゲーム系 メカ・ エレキ系 クラウド系 7

アジェンダ 1. はじめに 2. 目指せ大阪万博！ 3. 箱庭とは？ 4. なぜ今「箱庭」なのか？ 8

目指せ 大阪万博！ ill Athr 2025 9

いつ？ 2025年 4月29日 （火・祝） 10

どこで？ •大 阪 ヘ ル ス ケ ア パ ビ リ オ ン 11

だれが？ • 主催：TIS株式会社 • 共催： • イームズロボティクス株式会社 • 合同会社箱庭ラボ • 一般社団法人組込みシステム技術協会(仮) • TOPPERSプロジェクト • デジタル・インフォーメーション・テクノロジー株式会社 • アップウィンドテクノロジー・インコーポレイテッド(仮) • 株式会社シアン • しまなみドローン協会 • バーチャルスカイ • (株)日立産業制御ソリューションズ(仮) 12

不採択・・ 13

岡田さんが道を開いてくれた！ 感謝！ 14

だけど・・ • 丸一日のイベント • どうやってやる？？ 15

バーチャルスカイ・上野さんとの出会い • たまたま、東尋坊行ったら・・・ 16

シアン・岩井さんとの出会い • たまたま、友人から紹介してもらってた・・・ 17

箱庭の催事内容 18

なにを？ • 催事テーマタイトル • ドローンが創る物流、医療、災害時の革新とデジタルツイン技術の活用 • 内容（箱庭が関係するもの） • 催事シナリオ１：UAV、UGVとの連携動作(Real⇔Virtual) • 催事シナリオ２：バーチャル＆リアル観光ツア(Real⇔Virtual) • 展示内容：ARゴーグルを使ったUAV飛行体験 19

イームズロボティクス様との飛行コラボ 20

箱庭・展示 21

万博向けに考案中のシステム・アーキテクチャ • すべて同じアーキテクチャでいく！ 箱庭RC操作者 障がい者の方 RC操作 デバイス 目視操作 機器 UAV Webブラウザ スマホ等 箱庭ARアプリ Web Socket バーチャル ドローン リアル ドローン 箱庭AR ブリッジ RC操作 アセット 目視操作 アセット 箱庭ドローン シミュレータ UDP 箱庭Unity ドローン アプリ 箱庭ブリッジ Mission Planner ROS ROS System QUEST3 箱庭コア機能 UGV サーバーマシン 22

アジェンダ 1. はじめに 2. 目指せ大阪万博！ 3. 箱庭とは？ 4. なぜ今「箱庭」なのか？ 23

アーキテクチャの構成要素 箱庭コア機能 箱庭ドローン シミュレータ 箱庭ブリッジ 24

箱庭コア機能とは？ • 誕生秘話その１（２０２２年３月くらい） 箱庭はホントに必要？？ みんな、AthrillとかUnityアプリ にしか興味ないよねー・・・ 少なくともETロボコン競技会では 箱庭の時刻同期機能は役に立っ ている。 箱庭を使うと、 ・何ができるようになるのか？ ・どういうAPIを使えば良いか？ 25

箱庭コア機能とは？ • 誕生秘話その2 • 2022年4月3日（日曜日）の朝にひらめいた。 26

Simple is Beautiful! 27

アーキテクチャの構成要素 箱庭コア機能 箱庭ドローン シミュレータ 箱庭ブリッジ 28

自分と牧野さんの出会いから始まりました 2010年10月頃 2023年7月27日 29

いざ、開発開始！ • 2023年10月16日：わからないことだらけ・・・ 30

開発難航・・・ • 2023年11月9日：浮いたけど、落ちた 31

１つクリアすると次の課題が出てくる・・ • 2023年11月21日： • ホバリングできたけど、機体がフラフラーっとなってどこかに行ってしまう 32

アーキテクチャを再整理 • 2023年11月26日：きっとセンサがなんかダメなんやと思って 33

やっぱり物理モデル側？？ • 2023年12月15日：移動の電車の中で数式調べる・・ 34

ついに降臨！ • 2023年12月17日 35

36

戸惑いの毎日でした・・ • スタート ：2023年10月16日 • ホバリング成功 ：2023年12月17日 37

東尋坊の3Dモデル バーチャルスカイ・上野さんと小森研究所・小森さんのおかげです！ 38

アーキテクチャの構成要素 箱庭コア機能 箱庭ドローン シミュレータ 箱庭ブリッジ 39

箱庭ブリッジとは？ Virtual Real Virtual Real リアルとバーチャルの融合体験！ 40

背景と狙い デジタルツインは現実空間と仮想空間の相互作用を実現する基盤技術 仮想空間 通信網 現実空間 通信データ 現実空間を複製した シミュレーションモデル 現実空間と仮想空間の 相互作用を実現する通信網 現実空間における ロボットシステム 課題：仮想と現実は簡単に繋げることができない！ 解決：Zenohと箱庭でシームレスな接続を実現！！ 41

箱庭ブリッジの課題 モバイル/Web系どうする？ Mission Plannerどうする？ 箱庭PDU 仮想空間 仮想空間 仮想空間 仮想空間 仮想空間 箱庭PDU 箱庭ブリッジ 現実空間 現実空間 （ROSシステム） 現実空間 （ROSシステム） 現実空間 （ROSシステム） （ROSシステム） 現実空間 仮想空間も現実空間も、いろんなバリエーションある 42

箱庭ブリッジの対応案 • 箱庭ブリッジを増やせば、箱庭の外の世界がもっとシームレスに繋がる！ ARゲーム 空間 箱庭PDU 箱庭PDU 箱庭PDU 箱庭PDU ROS システム 箱庭ブリッジ (SHM) 箱庭ブリッジ (ARゲーム側) 箱庭アセット Web空間 箱庭PDU 箱庭PDU 箱庭PDU 箱庭PDU 箱庭ブリッジ (MAVLINK) 箱庭ブリッジ (Web側) Mission Planner 箱庭コア機能 43

ARアプリーケーションの概要 • 仮想空間のオブジェクトを現実空間にマッピングする 箱庭シミュレーション空間 ARアプリの空間 箱庭実行PC ARデバイス 現実に存在 現実に存在しない 現実の空間 現実に存在

仮想空間と現実空間の位置マッピング • 箱庭空間の位置 • 現実空間の位置 • AR空間の位置 原点 (緯度, 経度, 高度) ゲーム空間では、(0, 0, 0)

ゲームコントローラで位置合わせする 46

箱庭ARブリッジのアーキテクチャ udp 箱庭 ARブリッジ (Python) 箱庭ドローン シミュレータ (C/C++) PC向け 箱庭Unity アプリ (Unity/C#) udp http 箱庭ドローン ラジコン操作 アプリ (Python) 箱庭PDU (共有メモリ) 箱庭コア機能 (C/C++) 箱庭Web サーバー (Python) 箱庭PDU通信パッケージ (C#) Webブラウザ 箱庭WebGLアプリ (Unity/C#) ws 箱庭ARアプリ (Unity/C#) 箱庭PDU通信パッケージ (C#) Webソケット (JavaScript) Webソケット (C#) 47

アジェンダ 1. はじめに 2. 目指せ大阪万博！ 3. 箱庭とは？ 4. なぜ今「箱庭」なのか？ 48

箱庭とは、 • 箱の中に，様々なモノをみんなの好みで配置して，いろいろ試せる！ ・仮想環境上(箱庭)でIoT/ロボット・システムを開発する • ⇒ 各分野のソフトウェアを持ち寄って，机上で全体結合＆実証実験！ ロボット制御系 エンジニア 組込み系 エンジニア ネットワーク系 エンジニア クラウド系 エンジニア Web系 エンジニア 49

箱庭が学術的にも認められてきた？ 論文審査 50

箱庭の利用事例も少しずつ増えてきた 箱庭ドローンシミュレータ 箱庭ブリッジ １例目：説明動画 APRISでのモデリング教育教材として １例目：EdgeTech+2024でのデモ展示（コモングラウンド委員会） JASAによるデジタルツインのデモとして、製造現場でのトラブル対応 を想定したデジタルツイン環境 ２例目：量子EXPO展示 デジタルソリューション株式会社様でのドローン 最適経路最適化問題のデモとして ２例目：箱庭ブリッジの問い合わせ 某企業様から、リアルとバーチャルを融合した開発やってくれない？ と問い合わせいただいた。まさにこれが欲しかった！的な。 ３例目：NEDOプロ（万博展示で公開？） アジャイルガバ・シミュレータとして採用された？ ４例目：第12回学生クラウドプログラミングワールドカップ（CPWC） 愛媛大学工学部大学院理工学研究科の学生３名が 審査員特別賞を受賞！ 箱庭コア機能 １例目：リスキリング教材として enPiT Emb リカレント教育 ５例目：ATCロボットストリート 子供たちがめちゃくちゃ楽しんでくれた！ 51

• https://www.youtube.com/watch?v=QNyQIo2Je6U
• https://www.nextech-week.jp/autumn/ja-jp/search/24/directory/directory-details.デジタルソリューション株式会社.org-532a47cb-d029-448d-aedd-094bb29b247b.html
• https://www.digital-sol.co.jp/
• https://cpwc.forum8.co.jp/2024/
• https://robot-street.com/

52

なぜ今「箱庭」なのか？ 人 感動 技術 今、それが楽しいから 53

箱庭はコミュニティのハブになる 企業 AI系 クラウド系 組込み系 ゲーム系 制御系 メカ・ エレキ系 箱庭 コミュニティ 54

目指せ 大阪万博！ ill Athr 4月29日（火・祝） 2025 55