AR x IoTで AR Ready Room

1.4K Views

January 19, 24

スライド概要

2024/01/19 マジマジわローゼ登壇資料

profile-image

可視化技術や人間計測/空間計測技術を活用した問題解決に関する研究開発。 ARコンテンツ作成勉強会(tryAR)を主催。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

AR IoT でAR Ready Room

2.

自己紹介 氏名:吉永崇 (@Taka̲Yoshinaga) 仕事:AR/VR応用に関するR&D。主に医療支援 ウェアラブル・モーションキャプチャ技術開発 活動:ARコンテンツ作成勉強会(#AR̲Fukuoka) 趣味:ARを用いたプロトタイピング

3.

ARコンテンツ作成勉強会(略称:AR Fukuoka)の概要 [形式] AR/VRコンテンツの作り⽅や関連技術を主にハンズオン形式で体験。 [規模] 参加⼈数はコロナ前は約5~10名/回、現在は約10~20名/回。 [参加条件] AR/VRの開発に興味があれば初⼼者⼤歓迎。専⾨知識は不要。

4.

詳しい情報はこちら #AR_Fukuoka

5.

IoT [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた

6.

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

7.

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

8.

ARとライティング 照明(ライティング)の表現は仮想オブジェクトを現実に溶け込ませる上で重要 環境光の明るさの影響の表現 影の表現

9.

開発環境と対応デバイス スマホARに関してはSDKが対応してるけどHMD対応はあまり見ない 環境光の明るさの影響の表現 影の表現

10.

人気デバイス:Meta Quest3 Quest3の登場でより自然なAR体験が身近に。照明もきっと重要!

11.

やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現

12.

やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現

13.

システム構成 Real Light Se i s n ng Light Intensity ambient light sensor Virtual Light S et In te ns it y Light Intensity Quest3

14.

結果:環境光の強さとの同期

15.

システム構成 ver.2 Real Light Se i s n Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor et In te ns it y Pose Receive Quest3

16.

結果:ライトの位置との同期

17.

やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現

18.

やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現

19.

アイディア Real Light n Se si Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor Pose et In te ns it y Receive Quest3 p 今回使用しているスマホはiPhone Pro p LiDARセンサを搭載しているので端末の 前の実物体の形状がわかる(点群) p 点群をQuestに送れば影をつけられる p 点群を不可視にしてソレっぽくする

20.

結果:環境光 + スポットライトによる影

21.

Mixed Reality Utility Kit by Meta 現実への影表示 詳細: https://developer.oculus.com/documentation/unity/unity-passthrough-relighting

22.

まとめ [できたこと] p 環境光の強さとの同期だけでもかなり現実味が強くなる p 動くライトとの同期でインタラクティブ になって楽しい p 点群を用いた影の生成もできた [課題] p 通信が必要になるのでシステムが煩雑に p できればSDKでサポートしてほしい p MRUKで床や壁などにも影をつけたい [今後] p 照度を使って楽しい空間を作りたい https://twitter.com/Taka_Yoshinaga/status/171 8162721160757536

23.

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

24.

センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR

25.

ARとポータル表現 昔からあるARどこでもドアを本物のドアと連動させHMDで体験したい!

26.

システム構成 Real Door Virtual Door S n e S n si g け 付 り 貼 に ア ド は 5 6 T2 et Po s/ R ot ※ Pos/Rot Motion Tracker (RealSense T265 + PC) Pos/Rot Quest3

27.

動作検証:片開きドアとの連携

28.

結果:リアルどこでもドア

29.

引き戸にも対応させよう p先ほどの仕組みをそのまま適用しても技術的に面白くない p引き戸の場合USBケーブルが長くなるので邪魔 nse e al S e R 画像引用: https://shikishima-town.com/blog/door-type Real Sense

30.

引き戸にも対応させたい 非接触センシングをやってみよう

31.

システム構成 ver.2 Real Door Se i s n Virtual Door S ng Open Ratio RGBD Sensor (Azure Kinect + PC) et R at io Open Ratio Quest3

32.

方法:Depth画像を用いた開閉検知 Depth(奥行き)情報に明らかな差異が生じるのでこれを数値化 Close Open

33.

方法:Depth画像を用いた開閉検知 p Depth画像内に関心領域(ROI: Region Of Interest)を設定 p ROI内でClose時とOpen時のDepthの差(背景差分)を用いて開閉率を推定 ROI Close ROI Open

34.

動作検証:Depth画像を用いた開閉検知 開閉率

35.

結果:どこでも引き戸

36.

まとめ [できたこと] p どこでもドアARをスマホからHMDに変更 → 体験の質が向上 p モーショントラッカーを使って片開き扉に対応 p Depthセンサで非接触センシングも可能 [課題] p ドアのサイズを開発の時点で既知 である必要がある。 p 部屋情報をAI等で自動化したい [今後] p Depthセンシングを活用した ARコンテンツを色々と試作 https://twitter.com/Taka_Yoshinaga/status/1698144289979818006

37.

ご清聴ありがとうございました センシング技術やAIを活用した素敵なARライフを! 光 x AR ドア x AR