Mixed Reality関連のSDKの状況を調べてみた
1K Views
July 21, 21
スライド概要
XRミーティング 7/21の登壇資料。
Mixed Reality Feature Toolで提供されているMixed Reality関連のSDKの概要と最近の変更で気になったところ一通り紹介
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
関連スライド
各ページのテキスト
Mixed Reality関連のSDKの状況を 調べてみた 2021/07/21 XR ミーティング takabrz1 大阪駆動開発 Takahiro Miyaura
Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください
お題： Mixed Reality関連のSDKの状況を調べてみた 最近SDK周りの調査を忘れていた・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura
リストはこれをベースにしました Microsoft Mixed Reality Feature Tool Unity用のSDKをインポートできる便利ツール 1. Unityプロジェクト作成後に利用 2. 使いたいMR系SDKを選択 3. インポート 4. (ﾟдﾟ)ｳﾏｰ 2023/2/16 Copyright © 2021 Takahiro Miyaura
折角なので概要も交えて紹介 最近は便利なものがいっぱい増えてましたね 6つのカテゴリ ◼ それぞれのSDK紹介 ◼ トピックがあればそれも紹介 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Azue系のMixed Realityサービス用のSDK 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services クラウド上で提供されるサービスを利用 3つのSDK ◼ Microsoft Azure Object Anchors ◼ Microsoft Azure Remote Rendering ◼ Microsoft Azure Spatial Anchors 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Microsoft Azure Object Anchors 3Dモデルを使用して現実環境の物体検知＆6DoF推定 https://github.com/Azure/azure-object-anchors https://docs.microsoft.com/ja-jp/azure/object-anchors/?WT.mc_id=MR-MVP-5003104 SDKの概要 ◼ Object Anchors Runtime SDK ◼ 物体検知用SDK ◼ 最新は0.12.0 ◼ Object Anchors Conversion SDK ◼ Azure Service上で3Dモデル変換用SDK ◼ 最新は0.3.0-beta.1 引用元:Microsoft, Azure Object Anchorsの概要, https://docs.microsoft.com/ja-jp/azure/object-anchors/overview, 2021/03/02(閲覧日:2021/07/21) トピック Object Anchors Runtime SDK V0.11.0でHoloLensのLED点灯を制御 （PGでいじれるんだ・・・） 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Microsoft Azure Remote Rendering Azure上でレンダリングしストリーミング配信 https://github.com/Azure/azure-remote-rendering https://docs.microsoft.com/ja-jp/azure/remote-rendering/?WT.mc_id=MR-MVP-5003104 概要 高品質でインタラクティブな3Dコンテ ンツをクラウド上でレンダリングしス トリーミング配信 引用元:Microsoft, Azure Remote Renderingについて, https://docs.microsoft.com/ja-jp/azure/remote-rendering/overview/about, 2020/02/05(閲覧日:2021/07/21) トピック SDK 1.0.15でOpenXRをサポート 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Microsoft Azure Spatial Anchors 現実環境内でデジタルコンテンツの位置合わせを実現 https://github.com/Azure/azure-remote-rendering https://docs.microsoft.com/ja-jp/azure/spatial-anchors/?WT.mc_id=MR-MVP-5003104 概要 ◼ 現実空間の地点にコンテンツを固定 ◼ 複数のデバイスで共有が可能 ◼ HoloLens ◼ iOS ◼ Android 引用元:Microsoft, Azure Spatial Anchorsの概要, https://docs.microsoft.com/ja-jp/azure/spatial-anchors/overview, 2020/11/20(閲覧日:2021/07/21) トピック SDK 2.10.0でOpenXRに対応 SDK 2.7.0より古いライブラリは動かない（署名の問題） 2023/2/16 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit いつものあれですね！ 2023/2/16 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit 様々なxRデバイスに対応できるクロスプラットフォームライブラリ 大きくは4つの部品群 ◼ Mixed Reality Toolkit ◼ ◼ ◼ ◼ ◼ Examples Extensions Foundation Standard Assets Tools ◼ GPU Stats ◼ Microphone Stream Selector ◼ Plane Finding ◼ Test Utilities 2023/2/16 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit クロスプラットフォーム開発可能なxR向けライブラリ https://github.com/microsoft/MixedRealityToolkit-Unity https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/?view=mrtkunity-2021-05&WT.mc_id=MR-MVP-5003104 概要 ◼ 最新は V2.7.2 (Feature Toolからはv2.6.2が落とせる) ◼ 様々なデバイスへの対応 ◼ ◼ ◼ ◼ HoloLens/HoloLens 2 Mobile Devices VR HMD more… ◼ 組込み済みUX部品 引用元:Microsoft, Mixed Reality Toolkitとは, https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity, 2021/03/03(閲覧日:2021/07/21) トピック V2.7.0からはOpen XRに正式対応 コンフィギュレータの設定方法がとても便利になった 2023/2/16 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit V2.7.2のConfigurator 以前は手作業と合わせて必要だった部分がUIだけでできる Legacy XR(recommended) ◼ 従来からあった設定 ◼ Player – XR Settingsで設定 ◼ HoloLensの場合はWinMRのSDKをセット XR SDK/XR Management ◼ これからのXR ◼ XR Plugin Managementで設定 ポイント！ いずれかを選択するとプラグインが自動でセットアップされる！ 2023/2/16 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit V2.7.2のConfigurator 以前は手作業と合わせて必要だった部分がUIだけでできる XR SDK/XR Managementの時 2023/2/16 Legacy XR(recommended)の時 Copyright © 2021 Takahiro Miyaura
Mixed Reality Toolkit 残りはまとめて 開発を支援するツールやライブラリ ◼ GPU Stats ◼ フレームレートやVRAM等のGPUに関する情報アクセスを支援するライブラリ ◼ Microphone Stream Selector ◼ Windows 10アプリからマイクの音声ストリーミングを支援するライブラリ ◼ Plane Finding ◼ 空間マッピングで利用する平面検出ライブラリ ◼ Test Utilities ◼ UI操作（ハンドトラッキング等）をスクリプト化して自動テストを可能にするライ ブラリ 2023/2/16 Copyright © 2021 Takahiro Miyaura
Platform Support 2023/2/16 Copyright © 2021 Takahiro Miyaura
Platform Support HoloLensで活用できるプラットフォームライブラリ 2つのSDK ◼ Mixed Reality Scene Understanding ◼ Mixed Reality WinRT Projections 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Mixed Reality Scene Understanding 空間のシーンを分析して可視化する https://github.com/microsoft/MixedReality-SceneUnderstanding-Samples https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/platform-capabilities-and-apis/scene-understanding-sdk?WT.mc_id=MR-MVP-5003104 引用元: Microsoft Developer, Digitizing the physical world: An intro to Mixed Reality Scene Understanding, https://www.youtube.com/watch?v=Pcmo0PPB9eI, 2020/11/20(閲覧日:2021/07/21) 概要 ◼ HoloLensで認識したある空間を分析 ◼ 壁や床といった特徴物を部類/可視化 2023/2/16 Copyright © 2021 Takahiro Miyaura
Azure Mixed Reality Services Mixed Reality WinRT Projections Windows SDKの一部のラッピングライブラリ https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/using-the-windows-namespace-with-unity-apps-for-hololens /?WT.mc_id=MR-MVP-5003104 ◼ .NET Standardと互換性のあるWindows SDKのサブセット ◼ 以下の名前空間配下のWindows SDKの機能を利用できる ◼ Windows.UI.Input.Spatial ◼ 視線、ハンドジェスチャー、モーションコントローラ、音声などの状況を取得/活用できる ◼ Windows.Perception ◼ ユーザーの周囲の表面やホログラムに対するデバイスの位置を特定し、推論することができる 2023/2/16 Copyright © 2021 Takahiro Miyaura
Spatial Audio 空間音響機能 いわゆる音源との位置関係等で音を減衰させたりするあれです 2023/2/16 Copyright © 2021 Takahiro Miyaura
Spatial Audio 機能紹介のみ HoloLens, Windows Mixed Reality向け空間音響ライブラリ https://github.com/microsoft/spatialaudio-unity https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/spatial-sound-in-unity/?WT.mc_id=MR-MVP-5003104 概要 ◼ Microsoft Spatializer ◼ 実質のデファクト ◼ 実行コストが低 ◼ HoloLens 2ではハードウェアアクセラ レーターが効く （参考）MS HRTF Spatializer ◼ ◼ 下位互換用 ◼ 実行コスト高 2023/2/16 Copyright © 2021 Takahiro Miyaura
World Locking Tools 広域で現実空間とデジタルコンテンツの位置関係を維持する 2023/2/16 Copyright © 2021 Takahiro Miyaura
World Locking Tools 広域な空間を扱うコンテンツで位置精度を保つためのSDK https://github.com/microsoft/MixedReality-WorldLockingTools-Unity https://microsoft.github.io/MixedReality-WorldLockingTools-Unity/README.html 概要 ◼ Microsoft.MixedReality.Unity.Frozen World.Engineのラッパー ◼ 利用者の移動を伴うコンテンツ等 ◼ 最新版はV1.4.0 ◼ V1.3.5との下位互換性あり トピック Azure Spatial Anchorsとの連携が可能に（サンプルあり） HoloLens, Andoroid, iOSに対応、Open XRも対応済 2023/2/16 Copyright © 2021 Takahiro Miyaura
Other Features その他の“文字通り”便利な部品 2023/2/16 Copyright © 2021 Takahiro Miyaura
Other features そのほかの便利なツールたち 2つのSDK ◼ Mixed Reality Input ◼ Microsoft Mixed Reality モーションコン トローラの入力にアクセスできるSDK ◼ Mixed Reality WebRTC ◼ Mixed Reality でWebRTCを実現するため のSDK 2023/2/16 Copyright © 2021 Takahiro Miyaura
まとめ Mixed Reality 関連のライブラリを改めて確認 ◼ 大半のSDKがOpen XR対応 ✓ 以前は一部のみOpenXR対応だったためバージョンそろえるのが大変だった ◼ それぞれの部品が連携して活用できるようになっている ✓ ほとんどのSDKのサンプルはMRTKを利用 ✓ World Locking Tools × Azure Spatial Anchors等よく使いたくなる組合せ 便利でかつ面白い部品が色々あるので使えるものは使ってコンテンツ開発を楽しめる！ 2023/2/16 Copyright © 2021 Takahiro Miyaura
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ