PLATEAU ハッカソンでMicrosoft Meshを使ってみた

572 Views

October 16, 24

スライド概要

XRミーティング 2024/10/16【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/331456/)登壇資料。
10/6-13に開催の「PLATEAU XR & デジタルツイン ハッカソン2024」でMicrosoft Mesh上にPLATEAUの都市モデルを導入し、何か空間が作れるかを検証した話。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

PLATEAU ハッカソンで Microsoft Meshを使ってみた 2024/10 XR ミーティング @takabrz1 Takahiro Miyaura

2.

宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018-2025 XRは趣味です 大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

2024/10/06~2024/10/13 PLATEAU XR & デジタルツイン ハッカソン2024 2024/10/16 © 2024 Takahiro Miyaura

4.

PLATEAU XR & デジタルツイン ハッカソン2024 DAY 1 2024/10/16 XRミーティングでおなじみの各地域のコミュニティが各 地のオフライン会場を作ってみんなでPLATEAUをハッ クするイベント © 2024 Takahiro Miyaura DAY 2

5.

つくったもの Microsoft Mesh上でPLATEAUの空間を使い屋上会議する 普段では体験できないところで会議する 主な体験内容 ○ PLATEAUの都市データを利用 ○ 屋上に会議スペースを設置 デジタルツイン要素として・・・ ○ 日の出日の入りに合わせた演出 より良い会議を実現するための ○ 世界に注水する機能 2024/10/16 ゴネンゴ賞受賞しました! マスコットキャラがかわいかったのでアイスブレイカー の機能として使ったことが評価された © 2024 Takahiro Miyaura

6.

・・・という話の中で PLATEAU使ってMicrosoft Meshで空間作れるかチャレンジをしていた という話をしまっす! 2024/10/16 © 2024 Takahiro Miyaura

7.

ということで今日も Microsoft Meshの話 2024/10/16 © 2024 Takahiro Miyaura

8.

1 Microsoft Meshについて 2 今回のシステム構成 目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは? 5 まとめ

9.

Microsoft Meshについて 2024/10/16 © 2024 Takahiro Miyaura

10.

Microsoft Mesh 3D没入空間でミーティングやイベントを実施できるサービス 大きくは3つの構成 https://adoption.microsoft.com/en-us/microsoft-mesh/ Avatars for Teams Immersive Spaces in Teams Custom Immersive experiences ○ Mesh内で活用 ○ Teamsで利用可な3D空間 ○ 複数のAvatarを作成可 ○ プリセットの空間を利用 ✓ カスタマイズ不可 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ Teams内ではWebカメラの 代替としても利用可 ○ Teams会議から利用可 ✓ Meta Quest ✓ PC Custom Immersive experience 利用× 2024/10/16 © 2024 Takahiro Miyaura ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 ○ Meshポータル ✓ イベント/ミーティング作成 ✓ カスタム環境の管理 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC

11.

Microsoft Mesh ハッカソンでは新しくPLATEAUの3Dモデルデータを使った環境を構築しました Custom Immersive experiences https://adoption.microsoft.com/en-us/microsoft-mesh/ 既存環境のカスタマイズ(=テンプレート) 新しく環境をつくる ○ プリセット or カスタム環境を利用 ○ 空間内にオブジェクト配置 & テンプレート化 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ 現在の提供オブジェクト ✓ テキスト ✓ 動画 ✓ 画像 ✓ 画面共有 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC 2024/10/16 ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 © 2024 Takahiro Miyaura

12.

今回のシステム構成 2024/10/16 © 2024 Takahiro Miyaura

13.

外部連携があるため Mesh Cloud Scriptingを利用 Mesh用に構築されたAzure App Serviceを介して情報取得 https://w//.weatherapi.com/ 該当地点の天気情報を取得 https://sunrise-sunset.org/ 日の出・日の入り情報を取得 App Service App Service Plan Virtual Network Storage Account Mesh用 Azure OpenAI Service ピーリャン回答用 2024/10/16 © 2024 Takahiro Miyaura

14.

日の出、日の入 sunrise-sunset.orgから3DモデルのGPSデータで取得 ○ 日の出、日の入の前後10分日の出と日の入りが楽しめる。 ○ お天気情報もとってきています。 ○ もちろん日中、夜も 2024/9/18 © 2024 Takahiro Miyaura

15.

おしえてピーリャン 3Dモデルの情報を使ってピーリャンが教えてくれる ○ 今回は屋上会議スペースの建 物のみ ○ Azure OpenAI Serviceを 使ってみて・・・ 2024/9/18 © 2024 Takahiro Miyaura

16.

Emagencyボタン 水没する世界の中で・・・ 2024/9/18 © 2024 Takahiro Miyaura

17.

PLATEAUをMicrosoft Meshで使う 2024/10/16 © 2024 Takahiro Miyaura

18.

PLATEAU SDKで情報を取得 取り込みたい都市空間を選択してモデル情報としてエクスポート Mesh Toolkitを設定したプロジェクトにモデルを読み込ませる Microsoft Meshでは SDKから[Assetに保存]したフォルダの情報を利用する ※属性情報がついていない3D都市モデルを使う 2024/9/18 © 2024 Takahiro Miyaura

19.

注意事項 PLATEAUの属性情報はMicrosoft Mesh内に持ち込めない 属性情報を持つコンポーネントはMesh環境にアップロードできない Microsoft Meshでは サポート外のコンポーネントはアップロード時にエラー になる。今回だとPLATEAUCityObjectGroupは サポート外の扱いになる。 「選択した建物の属性情報を取得」といった機能を実現するた めには外部のサービスに情報を格納しCloud Scripting 経由でMesh環境内で利用する 2024/9/18 © 2024 Takahiro Miyaura

20.

注意事項 地上を歩くコンテンツを作りたい場合、地面オブジェクトに注意 PLATEAUの3Dモデル上を散策するためにはColliderが必要 PLATEAUの3DオブジェクトにMesh Colliderを付与する テレポートを利用する場合はLayerに[GroundCollision]を設定 地面はConvexをオンにしてColliderの形状を単純化する 地面の3Dオブジェクトをそのまま使うと 地面は構造が複雑でポリゴン数が多いためMesh Colliderが 複雑になりアップロード時にエラーになる。このため地面については ConvexをオンにしてColliderの形状をシンプル化するか、別途 Plane等シンプルなオブジェクトで地面を構築する 2024/9/18 © 2024 Takahiro Miyaura

21.

PLATEAUの3Dモデルと使うと Microsoft Meshのパフォーマンスは? 2024/10/16 © 2024 Takahiro Miyaura

22.

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Mesh環境のアップロード時の結果として表示される Visual Scripting マルチユーザ下で動くロジックでパフォーマンス劣化に繋がる実装がある。 例)複数のユーザが同じ変数を操作しイベントが輻輳するロジック Content Performance パフォーマンス劣化に繋がるMesh環境のコンテンツが存在する 例)構造が複雑でポリゴン数が大きい3Dモデルを使っている Warningが残っていると 途中でパフォーマンスが低下し体験が損なわれる可能性がある 2024/10/16 © 2024 Takahiro Miyaura

23.

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Contents Performance Analyzer PLATEAUを取り込んだ場合 都市モデルの中にポリゴン数が多いオブジェ クトを使ってしまう。建物よりも地面がこの制 約に引っかかる。 地面をPlane等で平滑化して利用 or ツールでポリゴン数を減らす 実はScaniverseで取り込んだピーリャンも引っかかった ※1メッシュあたり30,000未満 2024/10/16 © 2024 Takahiro Miyaura

24.

1 Microsoft Meshについて 2 今回のシステム構成 目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは? 5 まとめ

25.

まとめ 2024/10/16 © 2024 Takahiro Miyaura

26.

まとめ Microsoft Mesh上でPLATEAUのモデルデータが扱えるか? ○ PLATEAUの都市データをMicrosoft Meshでも利用は可能 ○ 都市モデルの中で行動する場合はモデルに対してMesh Colliderを付与 △ 快適な環境には都市モデルの軽量化が必要 △ 属性情報は都市モデルと一緒に利用することはできない ✓ 外部ストレージなどMesh環境とは別に管理する必要がある Microsoft Mesh上で都市モデルを扱えば・・・ 都市の中で疑似体験したり、デジタルツイン化された都市を前に議論したりと少し 違ったオンライン会議も可能になるかも? 2024/10/16 © 2024 Takahiro Miyaura

27.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ

28.

(参考)Custom Immersive Spaceをゼロから作る Unityプロジェクトの作成とMesh Toolkitの導入 2024/10/16 © 2024 Takahiro Miyaura

29.

Microsoft Mesh Custom Immersive Spaceをゼロから作る – プロジェクト作成 Unityプロジェクト作成 Universal 3Dで作る ○ Unity 2022.3.34f1 サポート外バージョンはデプロイ できないことがあるので注意 2024/10/16 © 2024 Takahiro Miyaura

30.

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのレジストリ登録 Project Settingsから ○ Package Managerの項目で以 下を入力 2024/10/16 © 2024 Takahiro Miyaura ✓ Name: Mesh Toolkit ✓ URL: https://registry.npmjs.org ✓ Scopes(s): com.microsoft

31.

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのインポート Package Managerから ○ Packagesを[My Registories]に変更 ○ Microsoft Mesh Toolkitを インポート 2024/10/16 © 2024 Takahiro Miyaura