1.5K Views
January 19, 24
スライド概要
2024/01/19 マジマジわローゼ登壇資料
可視化技術や人間計測/空間計測技術を活用した問題解決に関する研究開発。 ARコンテンツ作成勉強会(tryAR)を主催。
AR IoT でAR Ready Room
自己紹介 氏名:吉永崇 (@Taka̲Yoshinaga) 仕事:AR/VR応用に関するR&D。主に医療支援 ウェアラブル・モーションキャプチャ技術開発 活動:ARコンテンツ作成勉強会(#AR̲Fukuoka) 趣味:ARを用いたプロトタイピング
ARコンテンツ作成勉強会(略称:AR Fukuoka)の概要 [形式] AR/VRコンテンツの作り⽅や関連技術を主にハンズオン形式で体験。 [規模] 参加⼈数はコロナ前は約5~10名/回、現在は約10~20名/回。 [参加条件] AR/VRの開発に興味があれば初⼼者⼤歓迎。専⾨知識は不要。
詳しい情報はこちら #AR_Fukuoka
IoT [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた
センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR
センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR
ARとライティング 照明(ライティング)の表現は仮想オブジェクトを現実に溶け込ませる上で重要 環境光の明るさの影響の表現 影の表現
開発環境と対応デバイス スマホARに関してはSDKが対応してるけどHMD対応はあまり見ない 環境光の明るさの影響の表現 影の表現
人気デバイス:Meta Quest3 Quest3の登場でより自然なAR体験が身近に。照明もきっと重要!
やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現
やってみよう Quest3の登場でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現
システム構成 Real Light Se i s n ng Light Intensity ambient light sensor Virtual Light S et In te ns it y Light Intensity Quest3
結果:環境光の強さとの同期
システム構成 ver.2 Real Light Se i s n Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor et In te ns it y Pose Receive Quest3
結果:ライトの位置との同期
やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現
やってみよう Quest3の普及でより自然なAR体験が身近に。照明もきっと重要! 環境光の明るさの影響の表現 影の表現
アイディア Real Light n Se si Virtual Light S ng Pose of smartphone + Light Intensity ambient light sensor Pose et In te ns it y Receive Quest3 p 今回使用しているスマホはiPhone Pro p LiDARセンサを搭載しているので端末の 前の実物体の形状がわかる(点群) p 点群をQuestに送れば影をつけられる p 点群を不可視にしてソレっぽくする
結果:環境光 + スポットライトによる影
Mixed Reality Utility Kit by Meta 現実への影表示 詳細: https://developer.oculus.com/documentation/unity/unity-passthrough-relighting
まとめ [できたこと] p 環境光の強さとの同期だけでもかなり現実味が強くなる p 動くライトとの同期でインタラクティブ になって楽しい p 点群を用いた影の生成もできた [課題] p 通信が必要になるのでシステムが煩雑に p できればSDKでサポートしてほしい p MRUKで床や壁などにも影をつけたい [今後] p 照度を使って楽しい空間を作りたい https://twitter.com/Taka_Yoshinaga/status/171 8162721160757536
センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR
センシング対象 [今日のトピック] センシングした情報をインターネットを介してAR表現に反映させてみた 光 x AR ドア x AR
ARとポータル表現 昔からあるARどこでもドアを本物のドアと連動させHMDで体験したい!
システム構成 Real Door Virtual Door S n e S n si g け 付 り 貼 に ア ド は 5 6 T2 et Po s/ R ot ※ Pos/Rot Motion Tracker (RealSense T265 + PC) Pos/Rot Quest3
動作検証:片開きドアとの連携
結果:リアルどこでもドア
引き戸にも対応させよう p先ほどの仕組みをそのまま適用しても技術的に面白くない p引き戸の場合USBケーブルが長くなるので邪魔 nse e al S e R 画像引用: https://shikishima-town.com/blog/door-type Real Sense
引き戸にも対応させたい 非接触センシングをやってみよう
システム構成 ver.2 Real Door Se i s n Virtual Door S ng Open Ratio RGBD Sensor (Azure Kinect + PC) et R at io Open Ratio Quest3
方法:Depth画像を用いた開閉検知 Depth(奥行き)情報に明らかな差異が生じるのでこれを数値化 Close Open
方法:Depth画像を用いた開閉検知 p Depth画像内に関心領域(ROI: Region Of Interest)を設定 p ROI内でClose時とOpen時のDepthの差(背景差分)を用いて開閉率を推定 ROI Close ROI Open
動作検証:Depth画像を用いた開閉検知 開閉率
結果:どこでも引き戸
まとめ [できたこと] p どこでもドアARをスマホからHMDに変更 → 体験の質が向上 p モーショントラッカーを使って片開き扉に対応 p Depthセンサで非接触センシングも可能 [課題] p ドアのサイズを開発の時点で既知 である必要がある。 p 部屋情報をAI等で自動化したい [今後] p Depthセンシングを活用した ARコンテンツを色々と試作 https://twitter.com/Taka_Yoshinaga/status/1698144289979818006
ご清聴ありがとうございました センシング技術やAIを活用した素敵なARライフを! 光 x AR ドア x AR