XR デジタルツイン torinome の進化と新たな挑戦

3.7K Views

October 25, 24

#ホロテク24

スライド概要

2024/10/11に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

ホロラボ

@HoloLab

スライド一覧

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 97.03MB)

関連スライド

3DモデルとPower BIの悪魔合体「建物みえるくん」をつくってみた！

holoconf23 bim

ホロラボ 33.1K

トヨタのxR活用事例ご紹介～ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社栢野様発表スライド)

hololens mixed reality holoconf22

ホロラボ 31.1K

BIMから3次元モデルを消してみたら、意外に便利でした

holoconf23 bim

ホロラボ 29.4K

三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

holoconf22 hololens mixed reality

ホロラボ 17.8K

ホロラボカンファレンス 2022 基調講演

hololens mixed reality holoconf22

ホロラボ 13.4K

⽵中⼯務店の“建設DX”と “open BIM”と“xR” (ホロラボカンファレンス 2022 株式会社竹中工務店橋口様、川上様発表スライド)

hololens mixed reality holoconf22

ホロラボ 13.3K

各ページのテキスト

XR デジタルツイン torinome の進化と新たな挑戦 2024/10/11

開発メンバー紹介丸山純司 torinome Web 上田章雄 torinome Web 清水聡 / 秋猫 torinome Web 田野哲也 torinome AR 古田裕介 / たるこす Spirare

アジェンダ 1. torinome（トライノーム）とは？ 2. torinome の新機能 3. torinome の XR 連携 4. torinome の可能性 5. まとめ 3

10.

● データの視覚化追加したデータは簡単に閲覧できます Web で閲覧 1. リストから表示したい項目のチェックボックスをクリック LAS GLB ・ PLATEAU 都市モデルはカタログから追加することで表示できます・ Google Photorealistic 3D Tiles にも対応しているので Google Earth のようなテクスチャ付き 3D 地図データも表示できます・OSM Buildings の表示にも対応しました Copyright© HoloLab Inc. All rights reserved GeoJSON PLATEAU 鉄道データ出典：国土交通省国土数値情報ダウンロードサイト（https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N02-v2_3.html） 10

11.

12.

● 共有 ① 基本はお客様ごとに作成する環境で許可された人のみアクセスできます ② 特定のデータを誰でもアクセスできるように公開することも可能です ① 社内で共有 • 「プロジェクト」ごとにデータの追加・閲覧ができ、要件ごとに使い分けできます • 見せたいデータと視点を「シーン」として登録でき、共有できますシーン追加ボタン Copyright© HoloLab Inc. All rights reserved タイトルをつけて登録 12

13.

● 共有 ① 基本はお客様ごとに作成する環境で許可された人のみアクセスできます ② 特定のデータを誰でもアクセスできるように公開することも可能です ② パブリックに公開 • 「シーン」作成時に公開設定をすることで、見せたいデータと視点をパブリックに公開できます • 公開したシーンは共有 URL が取得でき、共有 URL にアクセスすることで誰でも閲覧できます Copyright© HoloLab Inc. All rights reserved 公開設定チェックボックス 13

14.

15.

16.

● アプリ紹介 torinome AR torinome 上のコンテンツを現実世界にシームレスに表示できる torinomeAR 主な機能 • torinome に登録されたデータを緯度経度に基いて、現地に自動で位置合わせして表示できます ※VPSモード時 • 現地の写真や動画も撮影でき、撮影した位置に紐づけて torinome に登録できます • 建設計画の検討やプレゼンテーション、フィールド調査やエンターテイメントコンテンツの提供などで利用できる Copyright© HoloLab Inc. All rights reserved 16

17.

● アプリ紹介 torinome Planner スケールを変えてどこにでも自由にAR表示ができる torinome Planner 主な機能 • 位置情報カードを読み込むことで、 torinome上のコンテンツを自由なスケールでAR表示ができる • 誰でも簡単につかえるカード型ARで地物や施設の配置を自由に変更、登録が可能 • まちづくりワークショップでの活用から、複数人での施設配置の検討などさまざまなまざまな用途で利用できる Copyright© HoloLab Inc. All rights reserved 17

18.

● アプリ紹介 torinome VR ヘッドマウントディスプレイやスマートグラスなどに対応した torinome VR 主な機能 •没入感のある1人称視点でtorinome上のコンテンツに入り込むことができる •ミニチュア模型としてコンテンツを卓上に置いたり、実寸大で没入するVR体験も可能 •ハンドジェスチャーやコントローラで、空間上にコンテンツを配置することが可能 https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/ より引用 Copyright© HoloLab Inc. All rights reserved 18

https://www.apple.com/jp/newsroom/2023/06/introducing-apple-vision-pro/

19.

20.

アジェンダ 1. torinome（トライノーム）とは？ 2. torinome の新機能 3. torinome の XR 連携 4. torinome の可能性 5. まとめ 20

21.

22.

マインクラフト連携 • マインクラフトで作成したものを取り込み可能 MinecraftはMicrosoft社の商標です ©Microsoft 22

23.

マインクラフト連携 • マインクラフトで作成したものを取り込み可能 MinecraftはMicrosoft社の商標です ©Microsoft 23

24.

アジェンダ 1. torinome（トライノーム）とは？ 2. torinome の新機能 3. torinome の XR 連携 4. torinome の可能性 5. まとめ 25

25.

26.

torinome のXR 連携 torinome Web torinome AR torinome Planner New App メールパスワード認証 torinome コアシステム on Google Cloud API DB Storage 位置情報に紐づいた情報ファイル torinome は API/DB/Storage がコアシステムです。このAPI 使用することで、フロントアプリは用途に応じて様々なものが作れます。まちづくりに使用したアプリ(Planner)や、 torinome AR 、 torinome Web は同じ API を使用しています。コアシステムとして位置情報に紐づいた情報やファイルを登録・編集・取得する機能を提供しているので、まちづくり以外でも活用できます。 Copyright© HoloLab Inc. All rights reserved 27

27.

カスタムAPIについて torinome バックエンドユースケースエレメントのデータ取得・操作を行うエレメントAPIがtorinomeのコアAPI コアAPI ElementAPI カスタムAPI Planner API Planner API Custom API Custom API Custom API Custom API まちづくり事例ではワークショップの Torinome Planner用に、コアAPIに足りないAPIを追加しています。オリジナルアプリを作る上で足りない APIがあればユースケースに合わせて拡張できます。 Copyright© HoloLab Inc. All rights reserved 28

28.

Spirare・POML連携 • エレメントをPOML形式で出力するAPIがあるため、 Spirareを利用した各種プラットフォーム向けアプリ開発が行えます。 o Windows / Mac o iOS / Android o HoloLens 2 / Meta Quest 3 / Apple Vision Pro • Project Spirareドキュメント https://github.com/HoloLabInc/project-spirare-docs/blob/main/README-ja.md Copyright© HoloLab Inc. All rights reserved 29

https://github.com/HoloLabInc/project-spirare-docs/blob/main/README-ja.md

29.

30.

31.

2種類の配置方式地理配置空間配置特定の場所 (マーカー, VPS マップなど）を基準として、そこからの相対位置 (x, y, z) でオブジェクトの位置を指定緯度・経度・高さ（楕円体高）でオブジェクトの位置を指定 Copyright© HoloLab Inc. All rights reserved 3D都市モデルおよびPLATEAUオルソはProject PLATEAU で提供されるデータを利用 (https://www.mlit.go.jp/plateau/) 地形データは、測量法に基づく国土地理院長承認（使用）R3JHs 778を得て使用 32

https://www.mlit.go.jp/plateau/

32.

33.

地理配置モードの Editor, Browser Spirare Editor Spirare Browser PC 用コンテンツ作成アプリ各種端末用コンテンツ表示アプリ Copyright© HoloLab Inc. All rights reserved 3D都市モデルおよびPLATEAUオルソはProject PLATEAU で提供されるデータを利用 (https://www.mlit.go.jp/plateau/) 地形データは、測量法に基づく国土地理院長承認（使用）R3JHs 778を得て使用 34

https://www.mlit.go.jp/plateau/

34.

3D コンテンツ用フォーマット POML（ポムル） Spirare Editor Spirare Browser PC 用コンテンツ作成アプリ各種端末用コンテンツ表示アプリ Babylon.js を利用 Unity を利用 3D コンテンツデータ POML モデルデータ画像データ Copyright© HoloLab Inc. All rights reserved 3D都市モデルおよびPLATEAUオルソはProject PLATEAU で提供されるデータを利用 (https://www.mlit.go.jp/plateau/) 地形データは、測量法に基づく国土地理院長承認（使用）R3JHs 778を得て使用 35

https://www.mlit.go.jp/plateau/

35.

POML（ポムル）とは • Project Spirare で仕様を定義している 3D コンテンツのためのフォーマット • XML ベース • 特定のゲームエンジンに依存しない • 3D モデル、画像、動画などの表示位置を記述する • 個別のデータ自体は POML には含まず外部ファイルを参照する 3D コンテンツデータ POML モデルデータ (.glb) 画像データ (.png, .jpg) <poml> <scene> <model src="./Whale.glb"> <geo-reference latitude="35.56165", longitude="139.71441" ellipsoidal-height="33"> </geo-reference> </model> </scene> </poml> Copyright© HoloLab Inc. All rights reserved POML の仕様 36

36.

POML（ポムル）による拡張性 Spirare Browser (AR) Spirare Editor 3D コンテンツデータ Spirare Browser (VR) POML モデルデータプログラムで生成 Web アプリケーション画像データカスタムアプリケーション 3D都市モデルおよびPLATEAUオルソはProject PLATEAU で提供されるデータを利用 (https://www.mlit.go.jp/plateau/) 地形データは、測量法に基づく国土地理院長承認（使用）R3JHs 778を得て使用 Copyright© HoloLab Inc. All rights reserved 37

https://www.mlit.go.jp/plateau/

37.

torinome での POML（ポムル）の利用 Spirare Editor プログラムで生成 Spirare Browser (AR) 3D コンテンツデータ Spirare Browser (VR) POML Web アプリケーション torinome Web torinome コアシステムモデルデータ画像データ 3D都市モデルおよびPLATEAUオルソはProject PLATEAU で提供されるデータを利用 (https://www.mlit.go.jp/plateau/) 地形データは、測量法に基づく国土地理院長承認（使用）R3JHs 778を得て使用 Copyright© HoloLab Inc. All rights reserved torinome AR (Spirare SDK を利用） 38

https://www.mlit.go.jp/plateau/

38.

緯度経度からアプリ内座標への変換 • Unity でオブジェクトの表示を行う際、緯度・経度・楕円体高で表された地理座標をアプリ内座標（x, y, z) に変換する必要がある • 変換には PositioningTools-Unity を利用している • ホロラボが OSS として公開しているライブラリ • https://github.com/HoloLabInc/PositioningTools-Unity アプリ原点緯度: 35.56165 経度: 139.71441 楕円体高: 33.1 緯度: 35.56151 経度: 139.71439 楕円体高: 28.0 Copyright© HoloLab Inc. All rights reserved x: 2.3 y: 10.4 z: 5.1 39

https://github.com/HoloLabInc/PositioningTools-Unity

39.

AR アプリでの現実との位置合わせ • AR アプリケーションでは起動するごとにアプリ原点と現実の位置の対応が変わってしまう • 現実と表示位置を一致させるには、少なくとも1か所の地理座標とアプリ内座標の組み合わせが必要位置合わせ基準点アプリ原点緯度: 35.56165 経度: 139.71441 楕円体高: 33.1 x: 1.1 y: 9.2 z: 3.4 緯度: 35.56141 経度: 139.71438 楕円体高: 32.4 Copyright© HoloLab Inc. All rights reserved x: 2.3 y: 10.4 z: 5.1 40

40.

現実との位置合わせ方式 • PositioningTools-Unity ではいくつかの位置合わせ方式から選択して利用可能 • 位置合わせ方式を変更しても、PositioningTools-Unity ライブラリを利用しているコードへの影響が小さい • torinome AR では Geospatial API を利用 Spirare ライブラリ利用 PositioningTools-Unity ライブラリ Geospatial API GNSS VPS Copyright© HoloLab Inc. All rights reserved 画像マーカー 41

41.

Streetscape Geometry でのオクルージョン • Streetscape Geometry API は Google が提供している API で、周辺の地形や建物の形状を取得することができる • Unity 用の SDK を利用すると、地形や建物の Mesh や位置が取得できる • 取得した情報をもとに GameObject を作成し、オクルージョン用のマテリアルを設定することで、オクルージョンとして利用できる Copyright© HoloLab Inc. All rights reserved 42

42.

アジェンダ 1. torinome（トライノーム）とは？ 2. torinome の新機能 3. torinome の AR/VR 連携 4. torinome の可能性 5. まとめ 43

43.

リアルタイムデータ表示 • API 等で公開された情報を torinome と連携して表示可能 o 例: 東京都交通局の都バスについてGTFS-RT形式によるバス関連リアルタイム情報 • 時系列データも表示可能なので人流データなども可視化できる ※10倍速した動画です東京都交通局バス関連リアルタイム情報 https://ckan.odpt.org/dataset/b_bus_gtfs_rt-toei/resource/4c440b4d-ae78-4eb2-bf4e-c6e9eb2fa717 44

https://ckan.odpt.org/dataset/b_bus_gtfs_rt-toei/resource/4c440b4d-ae78-4eb2-bf4e-c6e9eb2fa717

44.

アセットからのモデル追加 • アセットとして登録したモデルを使って簡単に配置できる 45

45.

生成 AI を使った表示データ提案 46

46.

WebXR で表示 • インストール不要対応ブラウザから AR VR で表示できる 3D 背景地図 ( Photorealistic 3D Tiles ) Google・Data SIO, NOAA, U.S. Navy, NGA, GEBCO・Landsat / Copernicus・IBCAO・Data Japan Hydrographic Association・U.S. Geological Survey ※ Apple Vision Pro で録画した動画にロゴの表示と開発用 URL を隠す編集を行った動画です 47

47.

アジェンダ 1. torinome（トライノーム）とは？ 2. torinome の新機能 3. torinome の XR 連携 4. torinome の可能性 5. まとめ 48

48.

49.