Hakoniwa-overview
4.3K Views
April 10, 24
スライド概要
この資料では、「箱庭?」という人向けに以下の情報を整理しています。
• 箱庭とは何か
• 箱庭の構想
• 箱庭の適用事例
TOPPERS／箱庭WG活動でUnityやらAthrillやらmROSやら触ってます。 最近は仕事の関係でWeb系の技術に注力しつつ、箱庭への転用を模索しています。 2023年8月1日：合同会社箱庭ラボに移動しました
関連スライド
各ページのテキスト
箱庭(Hakoniwa) Overview 合同会社箱庭ラボ 森崇
はじめに • この資料では、「箱庭︖」という⼈向けに以下の情報を整理しています。 • 箱庭とは何か • 箱庭の構想 • 箱庭の適⽤事例 2
箱庭(Hakoniwa)とは オープンソース・コミュニティ TOPPERS箱庭ワーキンググループが創る 未来社会の仮想環境です 化 ら 文 の 庭か 本 日 の箱 療 医 技術の箱庭 https://ja.wikipedia.org/wiki/箱庭 た し が ま 生 ま れ TOPPERS箱庭WG︓ https://toppers.github.io/hakoniwa/docs 3
箱庭とは何か • 箱庭の背景 • 箱庭の狙いとコンセプト • 箱庭の適⽤事例 • オンライン・ロボット教育 • VR体験 • ロボット強化学習 • STAMP/STPA分析活⽤ • ドローン・シミュレーション • リアルとバーチャルの融合 • 箱庭とは何か︖ 4
箱庭の背景 IoT開発には様々な分野の技術領域 ＝技術者の結集が不可⽋ • 結合テストや検証が困難である スマホ • 問題発⽣時にはその原因と Web系 経路の調査が複雑となる • 実証実験コストも⼤きくなる • ⾞載PC 制御系エンジニア ET系エンジニア ICTエンジニア 管制サーバ クラウド バックエンド サーバ系 ネットワーク系 ⾃動運転 制御系 センサ エレキ系 IT系エンジニア CAN メカ系 ECU制御系 ECU 交通サービス系 5
『箱庭』の狙いとコンセプト 箱の中に，様々なモノをみんなの好みで配置して，いろいろ試せる︕ ・仮想環境上(箱庭)でIoT/ロボット・システムを開発する • ⇒ 各分野のソフトウェアを持ち寄って，机上で全体結合＆実証実験︕ • ロボット制御系 エンジニア 組込み系 エンジニア ネットワーク系 エンジニア クラウド系 エンジニア Web系 エンジニア 6
箱庭の構想 箱庭オープンソースコミュニティと箱庭ビジネスコミュニティで作るでっかいエコシステムです︕ システム開発者 サービス提供者 ドメイン毎のシミュレーション環境 箱庭オープンソース コミュニティ 箱庭シミュレーションハブ（箱庭コア） 箱庭ビジネス コミュニティ ドメイン毎の箱庭アセット評価環境 箱庭アセット提供者 箱庭アセット開発者 7
説明 • 箱庭シミュレーションハブ（箱庭コア） • 様々なプログラムやシミュレータを連携する箱庭の核（コア）となる機能です • この機能を利⽤して、ドメイン毎のシミュレータおよび箱庭アセット評価環境を作成します • ドメイン毎のシミュレーション環境 • システム開発者およびサービス提供者の視点・精度で構築されたシミュレーション環境です • シミュレータは、ドメイン毎（例えば、ロボットやドローン等）に気にするポイントや作成するものが変わると思います • ですので、ドメイン毎にシミュレーション環境を構築します（例︓箱庭ドローンシミュレータ） • ドメイン毎の箱庭アセット評価環境 • ドメイン毎のシミュレーション環境で利⽤する箱庭アセットの評価環境です • 例えば、ドローンの場合は、センサの特性や機体そのもの評価⽤に利⽤します • ハードメーカーの営業ツールとしても利⽤できると考えています • 箱庭オープンソースコミュニティ • TOPPERS/箱庭WGのようなオープンソースコミュニティが箱庭コア機能開発します • 箱庭ビジネスコミュニティ • 合同会社箱庭ラボのような企業がシミュレータを制作する想定です • 今後、様々な企業が参画してビジネスコミュニティが育っていくことを期待しています 8
箱庭の適⽤事例 箱庭アセット（ロボット） 箱庭アセット（シミュレータ） Athrill PyBullet 箱庭アセット（制御プログラム） オンライン・ロボット教育 箱 庭 の 適 ⽤ 例 VR体験 ロボット強化学習 STAMP/STPA 分析活⽤ ドローン・シミュレーション リアルとバーチャルの融合 9
オンライン・ロボット教育の狙い ■狙い Unity上のロボット(1個)と仮想マイコンを連携させたシミュレーションの実現 マイコン・シミュレータ ■構成要素 ー ロボット本体 ・モータ/センサ等 ー ロボットを制御するマイコン ・RTOSおよびロボット制御が動きます ー 外部環境 ・⾛⾏コース/障害物等 ■広報活動 ー ETロボコンユーザ層に箱庭を広める ー オンライン・ロボット教育演習での活⽤ 制御処理(C/C++) EV3RT 超⾳波センサ ASP3/ASP athrill モーター カラーセンサ センサ⽤ライト 10
オンラインロボット教育（デモ） 11 • TOPPERS/箱庭WGが作成した最初のシミュレータです。 • コロナ禍で、オンラインでロボット教育の需要の⾼まりを受けて、多くの⽅にご利⽤いただきました。 動画：https://www.youtube.com/watch?v=OAg_YApjfns 11
VR体験の狙い ︖︖ 12
Oculus Quest2で箱庭VR空間にダイブする︕ • 箱庭のビジュアル部分はUnityを利⽤しているので、VR体験も簡単に実現できます。 • 動画︓https://www.youtube.com/watch?v=89nhwYkzMTU 13
箱庭で強化学習の狙い • UnityとPython使って、誰でも⼿軽にロボットの強化学習を試せるようにする︕ 箱 庭 14
箱庭で強化学習をトライ︕ • 箱庭で強化学習のトライをした事例です。 • 動画︓https://www.youtube.com/watch?v=3FqNZArthLo • 詳細解説記事︓https://qiita.com/kanetugu2018/items/ee9b2bf0596a35e42b03 15
STAMP/STPA分析活⽤の狙い(1/2) • 安全分析⽀援ツールとシミュレーションを融合した新しい分析スタイル AI/IoTのような複雑なシステム 因果関係ベース⼿法の限界 ⼈間との相互作⽤の考慮 安全分析⼿法︓STAMP/STPA 教育と導⼊のハードル 実際の動作をすぐに イメージできない 安全分析⽀援ツールとシミュレーションを 融合した新しい分析スタイル 16
STAMP/STPA分析活⽤の狙い(2/2) 分析モデル・ガイドワードだけで、 ハザード要因をリアルにイメージできますか︖ 分析して悩んだら シミュレーションで試して理解を深める 安全分析⽀援ツール 分析モデル ／ ガイドワード ハザード 要因 シミュレーション 17
STAMP/STPA分析活⽤ 安全分析して悩んだらシミュレーションで試して理解を深める︕ 安全分析シナリオの例︓遮断桿が下りる前に列⾞が踏切を通過してしまった 資料︓https://speakerdeck.com/tmori/stpadenohuo-yong 動画︓https://www.youtube.com/watch?v=AQkuziLJPtc 18
箱庭の適⽤事例 箱庭アセット（ロボット） 箱庭アセット（シミュレータ） Athrill PyBullet 箱庭アセット（制御プログラム） オンライン・ロボット教育 箱 庭 の 適 ⽤ 例 ⼤阪万博に向けて 全集中してます︕ VR体験 ロボット強化学習 STAMP/STPA 分析活⽤ ドローン・シミュレーション リアルとバーチャルの融合 19
ドローンを活⽤した箱庭適⽤先の全体像 箱庭は分野横断するような複雑なシステムで求められるリアルとバーチャルの融合環境を提供します︕ リアル同⼠をバーチャル 接続して確認 航空系 バーチャルでうまくいった らリアルで確認︕ 物流系 リアル空間 未完の機体をバーチャルに置い て、既にあるリアルと結合確認 デジタルライフライン （位置情報、気象情報、サービス運⾏情報） リアルとバーチャルの融合︕ バーチャル空間 リアルで試す前に バーチャルで試す︕ TOPPERS/箱庭 （シミュレーションハブ） 20
箱庭ドローンシミュレータの全体像 箱庭、Astah System SafetyおよびMATLAB／Simulinkを利⽤して、 機体評価およびサービス評価ができる環境を⽬指しています MATLAB/Simulink サービス評価 Astah System Safety システムアーキテクチャ 制御モデル 作成 制御モデル 制御モデル 制御モデル アーキテクチャ検討 箱庭ドローン・システム評価環境 箱庭シミュレーション環境（HUB） フィーチャーモデル 分析 箱庭ドローン・評価環境 センサモデル 作成 センサ性能 ハードメーカー センサ モデル 安全/セキュリティ 分析⽀援 機体評価 機体要件 JASAドローンWG 実証実験 要件 STAMP／ STPA分析 21
箱庭ドローンシミュレータ(1/2) 動画：https://www.youtube.com/watch?v=IEYTQkZcwB0 TOPPERS/箱庭ドローンシミュレータ・オンラインチラシ 22
箱庭ドローンシミュレータ(2/2) ドローンが荷物を運んで、ロボットに配置して、ロボットがそれを検出して⽬標の場所へ移動します 動画：https://www.youtube.com/watch?v=T9SfAt3SFjg 23
機体評価向けのアーキテクチャ • 機体のセンサモデルの差し替えが可能な構造 加速度 データ HIL_SENSOR 加速度センサ ジャイロ データ ⾓速度 (機体座標系) ジャイロセンサ 磁気 データ 速度 (機体座標系) 姿勢⾓ 磁気センサ 気圧 データ 位置 気圧センサ ドローンの プラントモデル PX4 緯度・経度・⾼度 HIL_GPS GPS センサ 機体の速度 機⾸の⽅向 HIL_ACTUATO R_CONTROLS PWM ローターの ダイナミクス ローター 回転数 速度 (地上座標系) 推⼒の ダイナミクス 推⼒/ トルク 24
機体評価向けシミュレーションでやりたいこと バッテリー劣化 ・リチウムイオン電池 ・⽔素電池 Battery Model Pixhawk バッテリー消費量が激しい Actuator Model (PX4) Sensor Model コンパニオン コンピュータ バッテリー 消費 Physics Model センサーフュージョン、SLAM、 AI画像解析 環境要因 天候、照明、電磁⼲渉、湿度、振動、 マルチパス、温度ドリフト、ノイズなど 機体の動き 障害物と衝突する、不安定、 機体が落ちる、⽬的地に到 着しない (RaspberryPi) ⾼度な制御 Visualize （Unity） 計測⽅法 感度、範囲、感知できる物質 や物理現象 ⾮機能評価 信頼性、安全性、性能、耐 久性、スケーラビリティ
例︓温度ドリフト • ジャイロセンサの温度ドリフトによる性能差を可視化する 温度ドリフト 許容範囲 A社 B社 温度 デモ https://www.youtube.com/watch?v=fLSsfV38KXM 26
例︓温度ドリフト 27
リアルとバーチャルの融合 • 背景・課題感 • 新しいコンセプト • mROS 2とは • リアルとバーチャルの融合による新しい未来社会の構想 • 適⽤事例 28
背景・課題感 システム全体の統合テストが難しい ・⾮統合状態 リアル空間 - 各システムが孤⽴している・・ ・コミュニケーションの壁 - システム間のデータ共有が困難 ・相互運⽤性の壁 - リアル世界での実証実験 - バーチャル世界のシミュレーション - リアルとバーチャル間の相互運⽤ 実証実験場1 実証実験場2 Simulator1 Simulator2 未来社会の新しいサービス 構築の妨げになっている 29
新しいコンセプト リアルとバーチャルの融合︕ ・統合状態 リアル空間 - 各システムが相互につながる状態 ・コミュニケーション - システム間のデータ共有が容易 ・相互運⽤性 - リアル世界での実証実験 - バーチャル世界のシミュレーション - リアルとバーチャル間の相互運⽤ 未来社会の新しいサービス の可能性が広がる 実証実験場1 実証実験場2 Simulator1 Simulator2 バーチャル空間 30
What is mROS 2? mROS 2 application mROS 2 API mROS 2 comm. lib. RTPS (embeddedRTPS) UDP stack (lwIP) CMSIS wrapper Kernel (ASP3, Mbed, POSIX) HAL library Embedded devices pub/sub messaging for Topic partially compliant with rclcpp autonomous communication in accordance with RTPS specification lightweight and efficient process by C/C++ for <~200MHz / <~1MB real-time kernels for EMB contributes perf. and mem. usage mROS 2 on EMB board better perf. & mem. usage partially compatible with rclcpp only for Topic comm., and many unsupported features such as QoS, Service,,, https://vimeo.com/showcase/9954564/video/767140724 31
Currently Supported NEW!! 32
リアルとバーチャルの融合による 新しい未来社会の構想 安全な箱の中で、様々なアセットとバーチャル・データを 積極活用して、イノベーティブなサービスを創出する！ ■バーチャル・ドローン バーチャル空間にのみ存在するドローン。 リアルの⼈は、ARデバイスを通して確認できる。 リアルロボットは、荷物搬送状況を受信できる。 Fusion ■バーチャル信号 バーチャル空間にのみ存在する信号機。 リアルの⼈は、ARデバイスを通して確認できる。 リアルロボットは、信号データを受信し、横断歩道 の交通ルールに合わせた制御が可能になる。 Real Virtual バーチャル空間のデータ Virtual & Real Asset ■リアルロボット リアル空間にのみ存在し、バーチャル世界のデータを受信して駆動可能。 バーチャル・ドローンは、ロボットの位置データを受信し、仮想の荷物をロボットに 配置したことを伝えることで、ロボットとドローンの相互運⽤テストを可能にする バーチャル空間で安全な検証 バーチャルとリアルを融合したサービスの実現 33
デモ 仮想リアル側 仮想リアルロボット制御 参照：https://www.youtube.com/watch?v=Z2SCe5kIvSI バーチャル側 箱庭ドローンシミュレータ 34
箱庭とは何か︖ • 箱庭とは「シミュレーション・ハブ」です︕ 組 ト ッ ロボ n o h t P y グラ ム プロ ロ ボ ッ ト 制御 プログラ ム Unreal Engine 箱庭シミュレーション 器 ill r h At 機 箱庭アセット み 込 ity n U 35
ご清聴 ありがとうございました︕ 36