3DGS･フォトグラメトリ比較と最新事例
20K Views
October 25, 24
スライド概要
2024/10/11に実施されたHololab Conference 2024のセッションスライドです。
■セッションアーカイブはこちら
ーーー
■公式HP
https://hololab.co.jp/
■公式Twitter
https://twitter.com/HoloLabInc
関連スライド
各ページのテキスト
B2 ｢3D Gaussian Splatting｣と｢フォトグラメトリ｣による 3Dデジタルアーカイブの比較と最新事例 ©Hololab inc.
自己紹介 株式会社ホロラボ 先進技術グループ/ SIAR(空間情報技術)チーム 藤原 龍 龍 lilea @lileaLab ⚫ 2010年～ ： 鹿島建設Grアルモ設計 建築ビジュアライゼーション/シミュレーションなどなど 2019年～ ： ホロラボ SIARチーム (Spatial Info ARchitects 空間情報技術) ⚫ 趣味/仕事 実空間をデジタルアーカイブしてあれこれ活用（フォトグラメトリ＆レーザースキャン）
空間情報技術に特化したSIARチーム 空間スキャンやフォトグラメトリ・デジタルアーカイブ、デジタル空間＆体験デザインな どの空間情報技術に特化した SIAR(Spatial Info ARchitects)チームを新設しました。 SIARチームでは、AR/VR/MR活用を進めていくにあたりCGだけでなく現実世界の3Dデータ の整備も重要になってくる中で、相談内容に合わせ最適な手法を提案/提供していきます。 ご相談例 3Dデータを活用したコンテンツを制作したいが、3Dデータが無い •改装/改築などによって実際の建築物とBIM/CADデータに差異がある •フルCG制作ではなく現実世界の要素を取り入れたコンテンツを制作したい https://prtimes.jp/main/html/rd/p/000000063.000023638.html
事例 3Dデジタルアーカイブプロジェクト 国登録有形文化財 沖本家住宅 gluon様 国分寺市教育委員会様 日本の著名な近代建築でありながら、惜しくも解体を余儀なくさ れた旧都城市民会館と中銀カプセルタワービルを、3Dスキャン技 術を使い建物内外の3Dデータを取得、立体形状のデジタルアーカ イブとして保存を行った。※ホロラボは写真担当 国分寺市にある昭和初期に建てられた洋館と和館で構成された 建築物。 戦時中の跡も残るなど歴史的価値のある建築物となっている。 ©Hololab inc.
事例 東京メトロ7000系車両3Dデジタルアーカイブ 東京メトロ様 お台場 VENUSFORT AR NTT ドコモ×森ビル様 引退した地下鉄車両を車体・車内・床下含め丸ごと3Dスキャンを行い3Dモデル を制作。 3Dモデルを引退記念コンテンツとして東京メトロ様の企画でNFTとして販売。 お台場ヴィーナスフォートで実施する、AR体験とVR体験が融合する「XR空 間」体験提供の実証実験において開発協力を担当しました。 総合研修訓練センター 3Dデータ化 ©Hololab inc.
事例 その他個人制作事例 メタバースプラットフォームにて公開中！ VRAA Meetup会場 エンジンルームVR ・cluster ・VRChat ・STYLY 等で公開中。 スマホやPCで体験いただけます。 博物館動物園駅 ©Hololab inc.
事例 ガウシアンスプラッティングの事例 これまではフォトグラメトリによる3Dデジタルアーカイブがメインでしたが、 最近ではガウシアンスプラッティングを活用した開発も行っています。 ※弊社Playful Fieldsチーム事例 ホロラボ、電通グループと「地理空間連動NFT」による実証実験でARアプリを開発 https://prtimes.jp/main/html/rd/p/000000103.000023638.html ©Hololab inc.
『ガウシアンスプラッティング』 と 『フォトグラメトリ』 何が違うのか？ どちらを選択するのが適しているのか？ (主に建物や町並み等、大規模広域な空間において) ©Hololab inc.
3DGS vs Photogrammetry 事例を元に比較してみよう 『京都VR 清水寺参道』 『ランドクルーザー』 Apple Vision Pro版 Apple Vision Pro版 今日展示もしています！
3DGS vs Photogrammetry 清水寺の参道600m程の工程をガウシアンスプラッティングで再現 https://youtu.be/8dzsIU-kqHM
3DGS vs Photogrammetry Apple Vision Pro ✕ ガウシアンスプラッティング https://youtu.be/OoE0fC8DBqU
3DGS vs Photogrammetry Apple Vision Pro ✕ フォトグラメトリ https://youtu.be/bB6Oajnhd0o
3DGS vs Photogrammetry 何が違うのか？ どちらを選択するのが適しているのか？ ⚫ データ構造の違い ⚫ 表現力の違い ⚫ 制作工程, 制作コストの違い ⚫ 描画負荷の違い ⚫ 表示可能な環境(デバイス,プラットフォーム等)の違い
3DGS vs Photogrammetry データ構造の違い
3DGS vs Photogrammetry データ構造の違い 比較する上での前提として、それぞれのデータの違いを簡単に解説。
3DGS vs Photogrammetry データ構造の違い https://youtu.be/6FThqO10kAc
3DGS vs Photogrammetry 表現力の違い
3DGS vs Photogrammetry 表現力の違い 細かな模様 テクスチャ感 ガウシアンスプラッティング：△ フォトグラメトリ：◯ 石畳や瓦、犬矢来の細かなテクスチャ感はフォトグラメトリの方が細かく再現できている ※ただし3DGSのディテール再現精度は処理する時の空間の広さに反比例する (後述)
3DGS vs Photogrammetry 表現力の違い ガラスの透過や反射 ガウシアンスプラッティング：◯ フォトグラメトリ：△ 3DGSは店内を表現しながら、ガラスに映り込む石畳や傘も綺麗に表現できている ※フォトグラメトリはメッシュがガタガタで汚い状態になってしまう
3DGS vs Photogrammetry 表現力の違い 植栽 ガウシアンスプラッティング：◯ フォトグラメトリ：△ 柔らかな葉が独立して綺麗に表現できている 歪な形のひとかたまりのメッシュになってしまう
3DGS vs Photogrammetry 表現力の違い 車 外装 ガウシアンスプラッティング カーペイント特有の質感も再現。 フォトグラメトリ 均一なマットな質感に。 しかしマットなテクスチャである事は用途によっ てはメリットでもある。
3DGS vs Photogrammetry 表現力の違い 車 内装 ガウシアンスプラッティング 引きで見る分にはどちらも健闘。 フォトグラメトリ
3DGS vs Photogrammetry 表現力の違い 車 内装 寄り ガウシアンスプラッティング：△ フォトグラメトリ：◯ 寄りだとフォトグラメトリの方が素材や文字の細部まで再現出来ている。 ※3DGSでこれと同等の表現を目指す場合は高密度な点群の取得が必要になり、描画負荷も激増する
3DGS vs Photogrammetry 制作工程, 制作コストの違い
3DGS vs Photogrammetry 制作工程の違い 3DGSは後処理の工程が少なく済む フォトグラメトリより低コストで生成できる (…という傾向はあるがもちろん対象や用途に よっても工数の比率は変わってくる)
3DGS vs Photogrammetry 制作工程の違い 小規模案件を例に、後処理パートの工数の違い一例 ※フォトグラメトリの場合であっても破綻が少ない対象の場合はここまで 大きな差は出来ないので、あくまでこれは一例 ※わかりやすいからカレンダーのフォーマット使ったけど土日は休むよ！
3DGS vs Photogrammetry 描画負荷の違い
3DGS vs Photogrammetry 描画負荷の違い ガウシアンスプラッティング：FPS 46 △ フォトグラメトリ：FPS 300 ◯ ガウシアンスプラッティングは半透明な楕円体が大量に空間に配置されている状態。 フォトグラメトリと比べ、負荷が高い。
3DGS vs Photogrammetry 描画負荷の違い モバイルやスタンドアローンHMD等で大規模なシーンを表示するには、 ガウシアンスプラッティングは最適化のハードルが結構高め。 負荷軽減のためにSplatを間引く事もできるが、細部の再現精度は下がるトレードオフ。 LOD処理等の研究も世界では進んでいる。 ホロラボでも研究中！
3DGS vs Photogrammetry 表示可能な環境の違い
3DGS vs Photogrammetry 表示可能な環境の違い ガウシアンスプラッティングはまだ発表されて1年ちょっとの新しい技術。 これを表示できる環境は限られている状況。 Unity, Unreal Engine, Web, 各種DCCツール等がプラグイン等により対応が進みつつある が、オリジナルの3D Gaussian Splattingのレンダリングと比べると表現力が劣るものもあ る。
3DGS vs Photogrammetry 表示可能な環境の違い Unity: UnityGaussianSplatting Unity: SplatVFX Unreal Engine: 3D Gaussians Plugin 公式の3DGSとほぼ同等の表現が可能。 ただしWebやモバイル等には対応して いない。 Splat間に隙間があり少し向こうが 透けて見えてしまう場合がある。 しかしVFXGraphが動く環境なら 表現できるのは強み。 大規模なデータを読み込むとデータが ブロックに分割されるため、各データ 間の前後関係が正しく描画されない場 合がある。
3DGS vs Photogrammetry 表示可能な環境の違い リアルタイムに描画するゲームエンジンのみならず、 映像やプリレンダーCG制作用ソフトの対応も進んでいる。 映像用の環境素材として広域空間のガウシアンスプラッティングデータを利用する例も。 • • • • • • Blender After Effects V-Ray (3ds Max, Maya) Houdini DaVinci Resolve etc. バーチャルプロダクション用のシーンとしての制作のご相談も。
どうやって綺麗なデータを作るのか？ ©Hololab inc.
どうやって綺麗なデータ作るのか？ 手軽にガウシアンスプラッティングのデータを生成する方法はいくつかある。 スマートフォン 「Scaniverse」 「LumaAI」 PC 「postshot」 ただし規模の大きな広域空間を再現したい場合は限界がある。
どうやって綺麗なデータ作るのか？ Postshotで広域なシーンを普通に処理した場合。 細部が再現されず、粗いSplatになってしまう。
どうやって綺麗なデータ作るのか？ じゃあどうやって京都の600mの道程を綺麗に処理したのか？ 無数の失敗と検証の日々の末に…！ 1年近く格闘してきて、今たどり着いているワークフロー。 わかってしまえばこの一連の流れ自体はスムーズに進められるが、 試行錯誤にかかった時間は膨大だった。 大規模シーンなのでトライアンドエラー1回あたり5,6時間かかった時も。
どうやって綺麗なデータ作るのか？ 広域を処理するのに適したパラメーターを探った日々…！
どうやって綺麗なデータ作るのか？ 適した機材と、懲りずに失敗し続け獲得したノウハウの賜物だった。 このワークフローは広域な空間に有効であるだけでなく、 モノに対しても細部を表現したい場合にも効果があった。 一般的ワークフロー：△ 細部再現度重視ワークフロー：◯
どうやって綺麗なデータ作るのか？ だんだん複雑な内容の話になってきてしまったので、 閑話休題。 デモを交えつつ最新の事例を紹介！
最新事例紹介 ©Hololab inc.
最新事例紹介 江戸東京たてもの園 - 子宝湯 富山県 - 八尾高校 静岡県 - 浜松城
最新事例紹介 江戸東京たてもの園 - 子宝湯 (フォトグラメトリ) TOKYOスマート・カルチャー・プロジェクト Meta Bath（メタ バス）デジタルで見る子宝湯 3Dで体験する「東京型銭湯」 https://meta-bath.museumcollection.tokyo/ STYLY版 https://gallery.styly.cc/scene/634bdff 9-2143-4e77-ac41-d95b8cf32da9 フォトグラメトリをホロラボが担当しました。
最新事例紹介 富山県 - 八尾高校 (フォトグラメトリ) 実際のデータの作りを見てみよう！(デモ) ｢モデルのクリーンアップ｣とは具体的に どういうことをしているのか？ 敷地内にある合掌造りの｢髙鳴館｣ 貴重な木材も高精細に3D復元。
最新事例紹介 静岡県 - 浜松城 (フォトグラメトリ＆ガウシアンスプラッティング) メイキング記事 https://lilea.net/lab/hamamatsu-castle-3dda/ https://youtu.be/YR30gleONd0 「フォトグラメトリ」か「ガウシアンスプラッティング」かと話してきましたが、 両方のいいとこ取りをしたハイブリッドの例！
まとめ ©Hololab inc.
まとめ 大規模 広域なシーンにおいての比較 フォトグラメトリ ガウシアンスプラッティング データ構造 ポリゴン 半透明な楕円体の集合 表現力 高精細なテクスチャ表現が可能 透過、反射、植栽等の表現が可能 制作工程 破綻が多く発生する対象の場合は 修正の工程がかさむ 極端な破綻は少ないため 低コストでもある程度綺麗なデータ生成可能 描画負荷 低くはないが3DGSと比べたら低め 高密度にすると高め 表示可能な環境 従来環境で表示可能 開発が必要な場合あり 綺麗に生成するには？ 高密度点群の併用等のテクニックがあるが、現状複雑なワークフローに なってしまってはいるので詳しくは後日別の機会に公開予定！ それぞれに得手不得手があるので使い分けよう
展示 SIARブースとApple Vision Proブースで展示してます！ この後ブースにいますので、 ご質問ある方もぜひお越しください。