冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

11.9K Views

January 18, 23

#xrmtg #mrtk3 #mixed reality #snapdragon spaces #thinki reality a3

スライド概要

XRミーティング 2023/01 登壇資料。
年末年始にlenovo Think Reality A3を借りることができたのでSnapdragon SpacesとMRTK3の組み合わせてどこまで動くかの検証を行った。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.67MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 22K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 9.9K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.2K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 7.6K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.2K

Mixed Reality Toolkit で OpenXRのEye Trackingを使う

hololens openxr

Miyaura 6.5K

各ページのテキスト

冬休みの宿題 Lenovo Think Reality A3で検証(MRTK3含) 2023/01 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

https://qiita.com/miyaura

Lenovoの手がけるARグラスいわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/01/18 Copyright © 2023 Takahiro Miyaura 5

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービスマートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション開発・商用化を支援するプラットフォーム基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/01/18 Copyright © 2023 Takahiro Miyaura 6

装着感（個人的）同じ形状のNreal Light/Airと比べるとThink Reality A3の方が。。。いいです。通常の眼鏡と同程度後頭部までしっかりホールド通常の眼鏡と同程度しなりがありしっかりとしたホールド感 Think Reality A3の方がしっかりと頭にホールドされるのでながら作業に最適一方、Nrealの方は力が弱くずれやすい 2023/01/18 Copyright © 2023 Takahiro Miyaura 8

10.

Think Reality A3の操作系 Companion Controller or ハンドトラッキング【 Companion Controller】 ○ スマホのアプリとして起動する ○ スマホの傾き（3DOF）でカーソルを制御 ○ スマホの画面をタップすることで決定 ○ アプリ内でのメニュー表示用のボタンもある ○ なお、オレオレコントローラも開発可能【Hand Tracking】 ○ センサーで手の動きをトラッキング ○ いくつかのジェスチャーでオブジェクトを操作 ○ Ray(手から光線)による遠隔操作も可能 Pinch Point Grab Open-Hand こういう系に慣れていないならスマホコントローラはいいかも 2023/01/18 Copyright © 2023 Takahiro Miyaura 10

11.

12.

Hand Trackingのサンプル【カクツキはMiraCast用アプリが悪い！】 ○ 物体をつかむ動作が「OK」ジェスチャーなのが独特 ○ 人差し指だけ伸ばして親指と人差し指でつまむジェスチャーが多い。学習モデルなどがまだ未熟かな。。。 ○ ハンドトラッキングの精度は良いが遅延が激しくある ○ 他の指を立てた状態でないとつまむ動作を推定できない？ 2023/01/18 Copyright © 2023 Takahiro Miyaura 12

13.

14.

ご参考 - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはV2.8.2 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/01/18 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 New!!! Copyright © 2023 Takahiro Miyaura 14

15.

きっかけ Qualcomm Snapdragon サミットで ○MRTK3のプロジェクトチームが登壇 ○Think Reality A3でデモオンライン配信はMRTK3のみでしたが今は全セッションアーカイブ公開されてます。 https://www.youtube.com/watch?v=V1d_FRnU70g 2023/01/18 Copyright © 2023 Takahiro Miyaura 15

https://www.youtube.com/watch?v=V1d_FRnU70g

16.

17.

18.

Hand TrackingとGaze Pointer Trackingは可能ですが、現時点ではこのドキュメントの範囲外です。仮想キーボードやウェブブラウザを使用するコンポーネントは、現時点ではサポートされておらず、不安定な動作になる可能性があるため、避けてください。公式に手順があります Companion Controllerでの手順 ○このチュートリアルは、現在、Snapdragon Spaces コントローラ入力にのみ対応 ○Hand TrackingとGaze Pointer Trackingは可能 (現時点ではこのドキュメントの範囲外) ○ 仮想キーボードやウェブブラウザを使用するコンポーネントは、現時点ではサポートされておらず、不安定な動作になる可能性があるため、避けてください。 ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/01/18 [MRTK3 Unity Setup – snapdragon spaces docs] https://docs.spaces.qualcomm.com/unity/samples/ preview/MRTK3SampleWinOnly.html Copyright © 2023 Takahiro Miyaura 18

https://docs.spaces.qualcomm.com/unity/samples/

19.

ポイント MRTK Camera Rigを含めたいくつかの設定変更が必要 1. 2. 3. 4. 5. 2023/01/18 Snapdragon Spaces & Sampleインポート MRTK XR Rigの変更 Companion ControllerのInput Action追加 Device Pointerの作成（※サンプルから追加） MRTK3の設定変更 Copyright © 2023 Takahiro Miyaura 19

20.

ポイント 1. Snapdragon Spaces & Sampleインポートモジュールはダウンロードサイトから(v 0.9.0) https://spaces.qualcomm.com/sdk/ D:. │ NOTICE.txt │ README.txt │ SnapdragonSpacesServices_0_9_0.apk │ ├─Custom Controller Package │ Controller_Android_Project_0_9_0.zip │ これをインポート └─Unity Package │ SnapdragonSpaces_Package_0_9_0.tgz │ SnapdragonSpaces_Unity_Samples_0_9_0.apk │ 後半で使う └─Hand Tracking QCHT_Core_Package_3_2_5.tgz QCHT_Interactions_Package_3_4_2.tgz QCHT_Interaction_Samples_0_9_0.apk 2023/01/18 tgz指定で追加サンプルのインポート Copyright © 2023 Takahiro Miyaura 20

https://spaces.qualcomm.com/sdk/

21.

ポイント 2. MRTK XR Rigの変更 MRTK XR RigをSnapdragon Spaces用に変更 1.Controllerの無効化 Companion Controllerを利用するために必要 ①Controllerの無効化 ○MRTK RightHand Controller ○MRTK LeftHand Controller ○MRTK Gaze Controller 2.Camera Tracking修正 ②Camera Tracking修正 2023/01/18 ○Tracked Pose Driverの無効化 ○AR Pose Driverの追加 ○AR Camera Backgroundの追加 ○AR Camera Managerの追加 Copyright © 2023 Takahiro Miyaura 21

22.

ポイント 3. Companion ControllerのInput Action追加 XRI(XR Interaction Toolkit)のAction追加 1.MRTK XR Rig内の以下のコンポーネントに追加 ○Input Action Managerコンポーネント ○Action Assets Input Action 追加 2023/01/18 ○Assets/Samples/Snapdragon Spaces/0.9.0/Core Samples /Shared Assets/Input Actions/Input Actions.inputactions Copyright © 2023 Takahiro Miyaura 22

23.

ポイント 4. Device Pointerの作成（※サンプルから追加） Device Pointerの追加 1.Hierarchy内に以下のPrefabを追加 ○Device Pointer ○Assets/Samples/Snapdragon Spaces/0.9.0/Core Samples /Shared Assets/Prefabs/Interaction/Device Pointer Device Pointer追加 2023/01/18 Copyright © 2023 Takahiro Miyaura 23

24.

ポイント 5. MRTK3の設定変更 Device Pointerを利用するための設定 1.MRTK3の設定を変更（以下のチェックを外す） ○MRTK Hands Aggregator Subsystem ○Subsystem for Hand Synthesis ○メニューから[Edit]-[Project Settings]を開く 2023/01/18 Copyright © 2023 Takahiro Miyaura 24

25.

Hand TrackingとGaze Pointer Trackingは可能ですが、現時点ではこのドキュメントの範囲外です。仮想キーボードやウェブブラウザを使用するコンポーネントは、現時点ではサポートされておらず、不安定な動作になる可能性があるため、避けてください。手順整理しています。公式のチュートリアルを日本語化したような感じ ○公式の手順を使って空シーンの作成 ○MRTK3のボタンを配置して動かす [Snapdragon Spaces（Think Reality A3)向けMRTK3 の開発環境と空シーンを構築する] https://zenn.dev/miyaura/articles/60eb4d43879df4 2023/01/18 Copyright © 2023 Takahiro Miyaura 25

https://zenn.dev/miyaura/articles/60eb4d43879df4

26.

27.

手を無理やりコントローラにして鑑賞【カクツキはMiraCast用アプリが悪い！】 ○ Snapdragon Spacesの試験機能に1つ ○ ハンドトラッキングの動きをモーションコントローラ扱いにする魔改造設定 ○ お、おれの手がモーションコントローラ！モーションコントローラとして認識させるとライブラリの操作を受け付けてくれる。 2023/01/18 Copyright © 2023 Takahiro Miyaura 27

28.

29.

30.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ SnapdragonのHand Tracking拡張QCHTライブラリを使う 1. 2. 3. 4. 5. 2023/01/18 QCHT パッケージ(2種)のインポート QCHT用のInput Action作成と追加 QCHT Manager追加 MRTK XR Rigの変更 MRTK3の設定変更 Copyright © 2023 Takahiro Miyaura 30

31.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ 1. QCHT パッケージ(2種)のインポートモジュールはダウンロードサイトから(v 0.9.0) https://spaces.qualcomm.com/sdk/ D:. │ NOTICE.txt │ README.txt │ SnapdragonSpacesServices_0_9_0.apk │ ├─Custom Controller Package │ Controller_Android_Project_0_9_0.zip │ これをインポート └─Unity Package │ SnapdragonSpaces_Package_0_9_0.tgz │ SnapdragonSpaces_Unity_Samples_0_9_0.apk │ これをインポート └─Hand Tracking QCHT_Core_Package_3_2_5.tgz QCHT_Interactions_Package_3_4_2.tgz QCHT_Interaction_Samples_0_9_0.apk 2023/01/18 tgz指定で追加 Copyright © 2023 Takahiro Miyaura 31

https://spaces.qualcomm.com/sdk/

32.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ 2. QCHT用のInput Action作成と追加 MRTK3のInput Actionをベースに作る 1.Actionに割り当てるBindingをQCHT用で作成 ○QCHT用のものは「～QCHT～」で命名 2.Input Action Managerに追加 ○HMD, GazeにはOpenXR系を設定 2023/01/18 Copyright © 2023 Takahiro Miyaura 32

33.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ 3. QCHT Manager追加ハントトラッキングの管理機能 1.Hierarchyで右クリックメニューから追加可能 ○追加時に[Use XR Controller]にチェック Hierarchyで右クリックメニュー表示 2023/01/18 チェック Copyright © 2023 Takahiro Miyaura 33

34.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ 4. MRTK XR Rigの変更 MRTK XR RigをSnapdragon Spaces用に変更 ①Managerの追加 1.Managerの追加 Camera Offsetに追加 ○Spaces Hand Manager ②Camera Tracking修正 2023/01/18 2.Camera Tracking修正 ○Tracked Pose Driverの無効化 ○AR Pose Driverの追加 ○AR Camera Backgroundの追加 ○AR Camera Managerの追加 Copyright © 2023 Takahiro Miyaura 34

35.

MRTK3で Snapdragon SpacesのHand Tracking使う実機未検証！ 5. MRTK3の設定変更先ほど作成したInput Actionを設定各情報にActionを割り当てるチェックを入れるチェックを入れる Snapdragon Spacesのデバック時のチートシートでMRTK3の手が動く（なのでデプロイすると正常に動くかも） 2023/01/18 Copyright © 2023 Takahiro Miyaura 35

36.

37.

気づき Snapdragon Spaceに関してはこれから印象を受けた ✓ SDKが0.9.0でまだ物足りない感が強い ✓ ハンドトラッキングが遅延してるとかは致命的 ✓ 成熟には時間がかかりそう ✓ デバイスそのものが現時点ではエンタープライズ用 ✓ 法人格しか買えない → もうすぐ個人購入が可能に（40万弱） ✓ エンジニアが触ると発生するフィードバックなどが少ない ✓ ノウハウもなかなかたまらない？眼鏡形状で装着感などを考えると業務用途ではよさそう 2023/01/18 Copyright © 2023 Takahiro Miyaura 37

38.

最後に！ Osaka MR Hackathon 2023 チームビルド前夜祭！ 2/17の夜、某所にて Lenovo Think Reality A3が試せる体験イベントを開催予定です！詳細は後日！大阪駆動開発コミュニティ（https://connpass.com/user/osaka-driven-dev/）をチェックしてね。 2023/01/18 Copyright © 2023 Takahiro Miyaura 38

https://connpass.com/user/osaka-driven-dev/

39.