7.1K Views
April 19, 23
スライド概要
XRミーティング 2023/04/19(https://osaka-driven-dev.connpass.com/event/279462/)登壇資料。
最近調査しているSnapdragon Spaces関連の情報を共有。4月初めにSDKが少しバージョンアップしたのでその調査とMixed Reality Toolkitとの連携について
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
Snapdragon Spaces v0.12.0 for Unityの調査 (あれも試してみてる) 2023/04 XRミーティング takabrz1 Takahiro Miyaura
Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください
本日の内容 えぇ、そうです 我慢できなかったので。。。 Lenovo Think Reality A3を手に入れて Snapdragon Spacesの調査環境整える。 2023/4/19 Copyright © 2023 Takahiro Miyaura 3
Lenovo Think Reality A3とは 2023/4/19 Copyright © 2023 Takahiro Miyaura 4
Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別 スマホはMotorola製(開発キットに付属) Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/4/19 Copyright © 2023 Takahiro Miyaura 5
Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/4/19 Copyright © 2023 Takahiro Miyaura 6
Snapdragon Spaces NianticやKDDI,NTTコノキュー等も興味を示してるようで気になってる ◼Niantic ニュースでは。。。 ✓ Qualcommと現実世界のARをソフトウェア・ハードウェア両面からさらに加速 https://nianticlabs.com/news/snapdragon-spaces ⚫Niantic のLightshipビジュアルポジショニングシステム(VPS)が、 2023年に開始されるQualcommの「Snapdragon Spaces」と連携 ⚫両社は屋外用ARヘッドセットのリファレンスデザインについての 共通ビジョンを提示 引用:Niantic, “Qualcommと現実世界のARをソフトウェア・ハードウェア両面からさらに加速”, https://nianticlabs.com/news/snapdragon-spaces ◼IT mediaのニュースでは… ✓ Qualcomm、XRプラットフォーム「Snapdragon Spaces」でKDDIやNTTコノキューと協業 XiaomiやOPPOの対応製品も https://www.itmedia.co.jp/mobile/articles/2303/01/news150.html 2023/4/19 Copyright © 2023 Takahiro Miyaura 7
ということでSnapdragon Spacesの話 +MRTKのあれ 2023/4/19 Copyright © 2023 Takahiro Miyaura 8
Snapdragon Spaces V0.12.1 2023/04/03の変更 - Unity ○追加 ✓ Oculus Touchコントローラが、機能検証リストに追加。サンプルで保証するためにデフォルト は有効に。 ✓ Spaces Handコンポーネント(SDK内のハンドトラッキング機能)は非推奨 ✓ Hand Trackingサンプルは、QCHT Interactionパッケージのサンプル変更 ○変更 ✓ (VRX用)VRパススルーは、XボタンとAボタンでオンオフを切替え可能に ✓ Hit Testingの可視化の改善 ○修正 ✓ Spatial Meshing Subsystemで作成される空間メッシュの更新が可能 ※0.11.1ではフレームごとに追加/削除を繰り返していた ✓ 権限のチェックがAndroid 13で壊れないように改良 2023/4/19 Copyright © 2023 Takahiro Miyaura 9
Snapdragon Spaces V0.12.1 2023/04/03の変更 – Unreal Engine ○追加 ✓ ARキャプチャーモードとしてハンドトラッキングメッシュが追加、従来のハンドメッシュの 取得方法は非推奨 ✓ Unreal Engine 5.0をサポート(4系は4.27) ○変更 ✓ ヒットテストの可視化が改良されました。 ○修正 ✓ AR AnchorとRaycastに関する言及がブループリントから削除 ✓ Gaze は常に 3D コンテンツの上に描画 ✓ ヒットテストは、ヒット距離が無限大に設定されている場合、問題を起こさないように ✓ カメラフレームへのアクセスを改善し、特定の条件下でクラッシュしないように 2023/4/19 Copyright © 2023 Takahiro Miyaura 10
Snapdragon Spaces V0.12.1 Snapdragon Spaces Services ○追加 ✓Image Trackingの精度向上 左のtrackingカメラの代わりにRGBカメラを使用。これによりターゲットの認識と追跡距離が 何倍にも増加 ○修正 ✓ デバイスを長時間使用すると現れる可能性のある黒い線への対応 ✓ 面内回転を適用したときの歪みが表示されなくなりました。 ✓ レンダリングレイテンシーを改善し、コマ落ちを改善 2023/4/19 Copyright © 2023 Takahiro Miyaura 11
色々調べてみたところ・・・ 先月の受肉関連です 2023/4/19 Copyright © 2023 Takahiro Miyaura 12
QCHT ライブラリが 4.0.0-pre.9とはいかに ※QCHT= Qualcommのハンドトラッキングライブラリ 急にパッケージングがかわってる & preとは。。。 ○前バージョン付属(Snapdragon Spaces SDK 0.11.1) ✓ QCHT Unity Core Package (Version 3.2.5) ✓ QCHT Unity Interactions Package (Version 3.4.2) ✓ QCHT_Interaction_Samples_0_11_0.apk ※サンプル用APK ○今バージョン付属(Snapdragon Spaces SDK 0.12.1) ✓ QCHT Unity Interactions Package (Version 4.0.0-pre.9) 修正履歴には確かにパッケージの中にサンプルあるので APKは提供されていないんですが。。。 2023/4/19 Copyright © 2023 Takahiro Miyaura 13
QCHT Unity Interactions Package (Version 4.0.0-pre.9) でサンプルをビルドする正しい手順がどこにもないw 公式はまだ、3.4.2の話しか説明していない。 しかも、正しく動かすにはコツがいるw 2023/4/19 Copyright © 2023 Takahiro Miyaura 14
こういうのが試せます ARじゃないのは配慮です、いろいろ散らかってたので。。。。 2023/4/19 Copyright © 2023 Takahiro Miyaura 15
何とかビルドしました。 ○ 必要なパッケージ ✓ Snapdragon Spaces SDK (0.12.1) ✓ Unity Interactions Package (Version 4.0.0-pre.9) ○ サイト公式の手順でセットアップ ✓ https://docs.spaces.qualcomm.com/unity/setup/SetupGuideUnity.html 2023/4/19 Copyright © 2023 Takahiro Miyaura 16
何とかビルドしました。 サンプルはパッケージからインポート ○ 実行に必要なサンプルシーン ✓ ✓ ✓ ✓ ✓ 2023/4/19 Copyright © 2023 Takahiro Miyaura QCHT Sample – Menu Spaces QCHT Sample – Distal QCHT Sample – Draw QCHT Sample – Proximal QCHT Sample – UI Elements 17
何とかビルドしました。 ○ 追加するシンボル ✓ SPACES 2023/4/19 Copyright © 2023 Takahiro Miyaura 18
Snapdragon Spaces + MRTK 2023/4/19 Copyright © 2023 Takahiro Miyaura 19
MRTK3に加えてMRTK V2もやってみた 何かとあると便利かもしれないので。。。 MRTK3は問題なし 2023/4/19 MRTK V2はおしい! Copyright © 2023 Takahiro Miyaura 20
気づき(まとめ) 2023/4/19 Copyright © 2023 Takahiro Miyaura 21
気づき Snapdragon Spaceに関してはこれから印象を受けた ✓ SDKが0.12.0になった ✓ ✓ Snapdragon Spaces SDK内のハンドトラッキング系の機能が廃止予定 →今後はQCHTライブラリを使うようにしてね 空間マッピングはちゃんと空間メッシュのAdd/Update/Deleteが実装された ✓ MRTK連携 ✓ MRTK3とSnapdragon Spaces 0.12.0も問題なさそう ✓ MRTK V2はなにか惜しい気がする ✓ 引続き調べようっと もう少しこなれてくると面白いと思いますよ! 2023/4/19 Copyright © 2023 Takahiro Miyaura 22
OMAKE mocopiであそんできた 2023/4/19 Copyright © 2023 Takahiro Miyaura 23
滑走中にどのくらいのキャプチャできるか 気になるじゃないですか。。。 ◼唯一の課題が足でした ◼Mocopiのセンサーは6個 ◼各箇所に専用バンドつけて固定 ◼スキーブーツに隙間がない ✓足型に合わせて成型したインナー ✓バンドはおろかmocopi単体も無理 えぇ、無理やり固定してやりましたよ ○ 養生テープでmocopiを養生 ○ 防水超強力テープ「ゴリラテープ」で固定 2023/4/19 Copyright © 2023 Takahiro Miyaura 24
こんな感じ 高低差は誤差ありまくりだけど、それっぽい 2023/4/19 Copyright © 2023 Takahiro Miyaura 25
以上 OMAKE 2023/4/19 Copyright © 2023 Takahiro Miyaura 26
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2023/4/19 Copyright © 2023 Takahiro Miyaura 27