新感覚街あそびアプリ "XR City" のご紹介

7.1K Views

June 05, 23

#holoconf23 #NTTコノキュー #AR #XR City #デジタルツイン #メタバース

スライド概要

2023/4/21に実施されたHololab Conference 2023のセッションスライドです。

■セッションアーカイブはこちら
https://youtube.com/playlist?list=PLcIuMEVR3eYfERlJDNtlGCdLKFFBjC9Ap

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

ホロラボ

@HoloLab

スライド一覧

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 17.03MB)

関連スライド

3DモデルとPower BIの悪魔合体「建物みえるくん」をつくってみた！

holoconf23 bim

ホロラボ 34.8K

トヨタのxR活用事例ご紹介～ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社栢野様発表スライド)

hololens mixed reality holoconf22

ホロラボ 32.2K

BIMから3次元モデルを消してみたら、意外に便利でした

holoconf23 bim

ホロラボ 30K

3DGS･フォトグラメトリ比較と最新事例

ホロテク24

ホロラボ 20K

三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

holoconf22 hololens mixed reality

ホロラボ 18.3K

⽵中⼯務店の“建設DX”と “open BIM”と“xR” (ホロラボカンファレンス 2022 株式会社竹中工務店橋口様、川上様発表スライド)

hololens mixed reality holoconf22

ホロラボ 13.6K

各ページのテキスト

自己紹介 ■ 木村真治(きむらしんじ) ► 2006/4： NTTドコモ入社、以降裸眼3D/ウェアラブル/XR等の研究開発に従事 • 2022/7リリースのXR City開発に携わる ► 2022/10～現在： NTTコノキューテクノロジー部門所属裸眼3Dディスプレイ w/ Haptics、3D画像変換 (2010) ホログラフィックコミュニケーションシステム w/東工大 (2019) ハンズフリービデオフォン(2012) LBEパッケージ (2020-2021) 出典：森ビルヴィーナスフォート NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. [出典] 撮って触って遊べる3D技術、ハンズフリービデオフォン、常識の先のメディア https://www.nttdocomo.co.jp/corporate/technology/rd/technical_journal/ 3

https://www.nttdocomo.co.jp/corporate/technology/rd/technical_journal/

https://www.nttqonoq.com/

事業内容① メタバース事業デジタルツイン事業バーチャル空間でのアバターを介した様々な体験やコミュニケーションの提供 XRを活用した現実世界と仮想空間の相互作用により新たな価値を提供 XRデバイス事業 NTTコノキューデバイス事業開始 (4/3) 自社デバイスの提供により、サービスと一体で価値・体験を提供 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. ビジネスコンシューマ VR AR MR

事業内容② NTT XRの取り組みで得たノウハウ・提供ソリューションを結集し様々なシーンにおいて法人のお客さま業務の変革をサポート NTT XR Real Support 提供開始 (3/15) 製造/建築現場遠隔支援現場作業員を遠隔から支援旅行/観光没入度の高い体験型の医療/ヘルスケア医師によるオンライン診療新感覚な楽しみ方を創出バーチャルオフィス/教室オフィスや学校と自宅等をつなぐ仮想オフィス空間 NTT QONOQ Conﬁdential デジタルツイン/小売お客さまの属性情報等を把握した上での効率的な接客 ©2023 NTT QONOQ, INC. All Rights Reserved. 地方創生/イベント仮想空間物産展など魅力度をより高める新たな体験

10.

11.

https://www.youtube.com/watch?v=v_1I7f_gtwU

12.

https://www.youtube.com/watch?v=v_1I7f_gtwU&t=1s&ab_channel=NTTコノキュー

13.

エリア & コンテンツ ■ XR Cityの大きな特徴は「特定の場所に行くことで体験できるARコンテンツ」の提供￮様々なエリアパートナーやコンテンツパートナーと協力しながらサービス展開中 • • 2022年度末時点で約30エリア（累計）でコンテンツを展開マーカーや平面検出により、「任意の場所で（どこでも）体験できるARコンテンツ」も提供中サービス開始時(2022/7)の展開エリアサービス開始時(2022/7)のコンテンツ HoloLab社制作コンテンツは各地で提供 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 13

14.

現在展開中のコンテンツ&エリアの例 ■ 現在、複数の魅力あるコンテンツを展開中（以下、一例）￮どこでもシナモロール＠任意場所（課金コンテンツ) ￮アニメージュとジブリ展＠松坂屋名古屋店￮エヴァ博ハカタAR大作戦＠博多JR九州ホール NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. ※松屋銀座店でコラボした時のTweet(2023/1) ※阪急阪神百貨店でコラボした時のTweet(2023/1) 14

15.

オリジナルコンテンツ「LOST ANIMAL PLANET」 ※動画あり ■ 2023年3月～、絶滅生物を復活させるARコンテンツ「LOST ANIMAL PLANET」を提供開始￮任意の場所でもPlayできます ※セッションでは動画紹介紹介ページ NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. [出典] https://www.nttqonoq.com/news/20230323_01.pdf 15

https://www.nttqonoq.com/news/20230323_01.pdf

16.

専門学校HALとの取組 ■ 専門学校HALの卒業制作発表でXR Cityのプラットフォームを活用￮学生はオーサリングツール(後述)を使ってコンテンツ制作⇒一般の方達に作品をお披露目 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. [出典] https://prtimes.jp/main/html/rd/p/000000014.000110582.html 16

https://prtimes.jp/main/html/rd/p/000000014.000110582.html

17.

XR Cityのシステム構成 ■ XR Cityのシステムは主に以下で構成 XR Cityアプリ CMS & BEサーバ制作ツール群外部システム ■CMS ■オーサリングツール&空間調整ツール ■コンテンツ調整アプリ XR Cityのプロジェクト/ユーザ/エリア/ お知らせ等の管理を行うためのサーバ XR Cityのコンテンツ制作用ツール。VPS を使う場合は現実⇔AR空間の座標合わせも実施。UnityのSDKとして提供アンカー配置や開発中コンテンツの確認・調整をするためのアプリ ■サービスサーバ ■コンテンツ＆空間管理サーバ ■外部システム XR Cityアプリの対向サーバー。認証、課金、ログ管理等を実施 3Dオブジェクト、メディアファイル、オクルージョン用メッシュデータ、アンカー情報 VPS※や同期エンジン ※XR CityではGoogle Cloud Anchorを利用 ■XR Cityアプリ XR Cityのスマホアプリ (iOS,Android) ■Viewer In-Game(平面検知/VPS/コンテンツ描画)を提供するモジュール NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 17

18.

XR Cityのシステム構成 (HoloLab社に開発いただいた範囲) ■ XR Cityのシステムは主に以下で構成 XR Cityアプリ CMS & BEサーバ制作ツール群外部システム ■CMS ■オーサリングツール&空間調整ツール ■コンテンツ調整アプリ XR Cityのプロジェクト/ユーザ/エリア/ お知らせ等の管理を行うためのサーバ XR Cityのコンテンツ制作用ツール。VPS を使う場合は現実⇔AR空間の座標合わせも実施。UnityのSDKとして提供アンカー配置や開発中コンテンツの確認・調整をするためのアプリ ■サービスサーバ ■コンテンツ＆空間管理サーバ ■外部システム XR Cityアプリの対向サーバー。認証、課金、ログ管理等を実施 3Dオブジェクト、メディアファイル、オクルージョン用メッシュデータ、アンカー情報 VPS※や同期エンジン ※XR CityではGoogle Cloud Anchorを利用 ■XR Cityアプリ XR Cityのスマホアプリ (iOS,Android) ■Viewer In-Game(平面検知/VPS/コンテンツ描画)を提供するモジュール NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 18

19.

20.

自己紹介藤野宏暢(ふじのひろのぶ) ► NTTコノキューテクノロジー部門所属・XR Cityツール群開発のプロジェクトリーダー ► それ以前、ドコモR＆D部門（XR/音声対話AI）・技術検証やディベロッパー開拓に従事 XR Cityの前進となるシステムを用いた実証実験音声対話AIプラットフォームIを用いた取り組み ※セッションのみ動画出典：森ビルヴィーナスフォート NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. ※制作協力:だるまジャパン合同会社 20

21.

XR Cityサービスの特徴 ■ １つのアプリで、複数のコンテンツが楽しめるプラットフォーム型のアプリ￮一般的なXR系アプリは、コンテンツの種類や場所ごとに個別のアプリが提供されることが多い • 例）お台場で楽しめる専用アプリをインストールし、別の観光地ではまた別のアプリを入れて ■ XR Cityは「色々な場所で」「制作者のアイディアが詰まった様々なタイプのARコンテンツ」をお届けするサービスお台場で遊べる XRCityアプリがあれば A アプリ渋谷で遊べる B アプリ美術館楽しむ C アプリ NTT QONOQ Conﬁdential アプリごとにインストール大変 );; ©2023 NTT QONOQ, INC. All Rights Reserved. 謎解き古生物キャラクター冒険 RPG

22.

XR Cityサービスの特徴と私たちの思い ■ XR Cityアプリの地図画面を開けば近くで体験できるARコンテンツの一覧が表示される ■ 外だけでなく、自宅等場所を選ばず楽しんでいただけるARコンテンツもある ※セッションでは動画紹介 ARを使った楽しさをより身近に、 XR Cityアプリを通じてARが当たり前になる文化を、皆さんと一緒に作り上げていきたい NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved.

23.

XR Cityツール群のコンセプト ■ コンテンツ制作者が表現したいことが実現できるプラットフォーム ■ 「プラットフォーム側では極力制限を設けない」考え ■ 誰でも簡単に操作できるが、できることは限られてしまといった製作ツールではなくコンテンツ制作者の皆さんに支持されている開発環境、Unityをベースとした制作ツールを提供 Unity環境XR Cityツール化のイメージ 1. Unity2021を準備 2. XR Cityオーサリングツール/UnityPackage をimport 3. XR Cityコンテンツに仕立て上げるためのオリジナル機能がエディタに追加される NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 23

24.

25.

①オーサリングツールの流れ1 ■ ARコンテンツ本体を作成するメインとなるツール 1. エディタ拡張されたオーサリングツールメニューからワークスペースを作成 1. ワークスペースフォルダの中には、XR Cityのコンテンツとして仕立てあげるための様々なデータが含まれている（ワークスペース内でコンテンツ制作） 1. コンテンツタイプ（再生）を決める ○ ○ ○ NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 平面検知型マーカー型 GoogleCloudアンカー型 25

26.

補足）コンテンツタイプ平面検知型マーカー型 ※セッションのみ動画 ※セッションのみ動画 ● ● ● カメラで平面検知検知した平面をタップしてコンテンツ再生ユーザはどこでも好きな場所にコンテンツを表示できる GoogleCloudアンカー型 ● ● ● 事前登録した画像をカメラで捉えるとコンテンツ再生マーカが存在する場所でコンテンツを表示できる例）チラシや看板 ※セッションのみ動画 ● ● ● NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 特定の場所でコンテンツが楽しめる仕組みクラウドアンカーという目印となる仮想の杭を打ち込んで、その付近の空間を記憶させるカメラでその空間を捉えるとアンカーを基準にコンテンツが再生 26

27.

補足）VPSに関して ■ VPSは「事前スキャン（特徴点Map生成）」と「自己位置推定」で構成される￮事前に作成した特徴点Mapとカメラ画像から抽出した特徴点を照合して、位置を推定事前スキャン（サービス提供者が実施）自己位置推定（ユーザ側アプリが実施） ③Map-DB内で特徴点を照合 ②画像中の特徴点を抽出スキャン空間の特徴点をまとめた3D特徴点Map ①カメラ画像をクラウドへUL ④デバイスの位置&方位を返却 [出典]Immersal SDK - City-scale AR /https://youtu.be/M62Bb3MlPos NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 27

https://youtu.be/M62Bb3MlPos

28.

補足）VPSに関して ■ GoogleGeoSpatialAPIに関して￮ Googleストリートビューの情報があるところで自己位置推定可能（広域）￮ XR Cityのコンテンツは、事業者側で管理する施設内に配置するケースが多い￮狭域でも屋内屋外問わず好きな場所に配置できる方式がよりマッチしているおり、 XR CityサービスではGoogleCloudアンカーを採用している。 GeoSpatialAPI GoogleCloudアンカー自己位置推定範囲 (カメラを向けて認識してくれる範囲) 広域狭域どこで活用できるか Googleストリートビュー範囲屋内外問わずどこでも ※屋外アンカー設置が可能 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 28

29.

①オーサリングツールの流れ2 ■ コンテンツタイプを決めたらコンテンツの中身を制作していきます ■ 平面検知型とマーカ型は、XR Cityではシンプルなコンテンツを想定、サンプル内包。￮サンプルのオブジェクトを変えるだけでオリジナルコンテンツに ■ GoogleCloudアンカーは特定のエリアに来て体験いただくもの。リッチなコンテンツを想定。￮体験価値を高めるためのインタラクション付与が重要要素￮ Unityのビジュアルスクリプトを採用＜平面検知サンプル＞・サンプルオブジェクト・直感的に分かる用、平面と人の大きさをデフォルト表示 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. ＜Unityビジュアルスクリプト＞・命令を視覚的につなげていく・処理の流れが理解しやすいといったメリットがある 29

30.

オーサリングツール③（カスタムノード） ■ C＃スクリプトなら数行、ビジュアルスクリプトだと何個もノード組み合わせるケースも。 ■ XR City独自機能ノードやよく使われる標準命令を集約したカスタムノードを多数提供 ■ コンテンツの生産性を高め、コンテンツアイデアのヒントとしてもお使いいただけます ※セッションのみ動画 NTT QONOQ Conﬁdential ※セッションのみ動画 ©2023 NTT QONOQ, INC. All Rights Reserved. ※セッションのみ動画 ※セッションのみ動画 30

31.

オーサリングツール④（アップロード） ■ コンテンツ作成後XR Cityアカウントでログインし、サーバへアップロード ■ 事前に事業者様向けCMSサイトからコンテンツ情報を登録 ■ アップロード時にどのコンテンツ情報に紐づけるのか、どのアンカーに紐づくのかを指定 CMSサイトでメタ情報登録（コンテンツ情報/イベント情報） CMS情報と紐付けログインしたアカウントの情報範囲で参照可能アンカー情報と紐付けアップロード NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 31

32.

33.

空間調整ツール ■ コンテンツ調整アプリで配置したアンカーと、第三者アプリで作成した空間構造データとの位置合わせを行うためのツール￮アンカーを位置合わせした空間構造データをオーサリングツール上で表示することでオブジェクト配置の位置決めの参考情報として活用可能￮空間構造をオクルージョンとして利用することも可能 ※セッションのみ動画 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 33

34.

35.

自己紹介新井貴紘(Arai Takahiro) ざっくり経歴 - 大学でVRの触覚提示について研究 - NTT docomoでXR関連のサービス開発 - NTT QONOQでARサービスの企画開発その他 - (現地組は)たくさん写真撮って後で送ってください @_7cancer NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 写真

36.

リリースしたもの

37.

38.

39.

どうやって開発するのか

40.

41.

42.

43.

実際に開発してみた

44.

45.

46.

47.

48.

49.

50.

51.

(ちょっと脱線)XR Cityを使うと一瞬で開発環境が整うよくあるARアプリ開発: XR City: 指定されたバージョンのUnity入れて… 対応端末を考えないと… 使うUnityバージョンどうしよう… ツールをインポートしたら完了~！どのOSに対応したアプリを作る…？ → 環境構築がめんどくさい NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. → ちょっとポチポチすれば完了

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

62.

63.

64.

65.

66.

67.

68.

69.

70.

71.

72.

73.

74.

75.

76.

77.

78.

79.

80.

81.

実装解説は以上

82.

83.

84.

85.

エコシステム形成 / エリア拡大 / グラス体験の提供 ■ 「アプリユーザ」「エリアパートナー」「コンテンツパートナー」皆様に選ばれるXR Cityへ￮目標：2027年度に200エリアで体験できる、魅力的なコンテンツを提供￮将来的なARグラス対応も視野に入れて開発中 NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. 85

86.

メッセージ ■ エリア事業者 / コンテンツ制作者 / IPホルダー / 技術アセット保有企業など、一緒にAR事業を盛り上げてくれるパートナーの皆さまを募っています。是非、お声がけください。￮ XR [email protected] 公式Webサイト NTT QONOQ Conﬁdential ©2023 NTT QONOQ, INC. All Rights Reserved. App Store Google Play 86