フォトグラメトリ＆3DGS - AI活用と最新事例 - 3D SCAN MEETUP in SHIZUOKA 2025
13.2K Views
July 04, 25
スライド概要
AI要約：
このプレゼンテーションでは、静岡で行われた3D SCAN MEETUPにおいて、最新の事例やAIの活用法について詳しく紹介します。また、江戸東京たてもの園の前川邸や京都の蹴上インクラインをテーマにした3Dデジタルアーカイブの制作過程や、フォトグラメトリ技術、生成AIの活用事例などについて議論します。特に、AIを駆使した生産性向上や、さまざまな3Dグラフィックスシステム（3DGS）の比較についても考察します。
関連スライド
各ページのテキスト
3D SCAN MEETUP in SHIZUOKA 龍 lilea / ホロラボ 最新事例とAI活用 龍 lilea / ホロラボ
自己紹介 株式会社ホロラボ 藤原 龍 Ryo Fujiwara 龍 lilea X@lileaLab ⚫ 2010年～：鹿島建設Grアルモ設計 建築ビジュアライゼーション/シミュレーションなど 2019年～：ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/レーザースキャン/3DGS) 2/31
基調講演…！？ 後日Peatixを確認 みなさまに「貴重」だと思ってもらえる「講演」になれば⋯！ 3/31
つくったもの 個人の 仕事の 中銀カプセルタワービル 旧都城市民会館 東京メトロ車両 ビーナスフォート 博物館動物園駅 デジタル上野の杜 サントリーホール 国立科学博物館 New!! New!! 子宝湯 前川邸 4/31
本日のメニュー 最近の取り組み＆TIPS ⚫ 江戸東京たてもの園『前川邸』3Dデジタルアーカイブ ⚫ 京都『蹴上インクライン』VR AI活用 ⚫ 生成AIの活用 ⚫ AIコーディングの活用 最近のフォトグラメトリと3DGS(ガウシアンスプラッティング) ⚫ RealityScan ⚫ 様々な3DGS 5/31
本日のメニュー 最近の取り組み＆TIPS ⚫ 江戸東京たてもの園『前川邸』3Dデジタルアーカイブ ⚫ 京都『蹴上インクライン』VR AI活用 ⚫ 生成AIの活用 ⚫ AIコーディングの活用 最近のフォトグラメトリと3DGS(ガウシアンスプラッティング) ⚫ RealityScan ⚫ 様々な3DGS 6/31
前川邸3Dデジタルアーカイブ 【事例】「前川國男邸3Dモデルをみてみよう」の3Dモデル/コンテンツ制作に協力しました。 https://blog.hololab.co.jp/entry/2025/03/26/123630 新たなチャレンジ フォトグラメトリ＆3D Gaussian Splattingの併用！ 建物→フォトグラメトリ ・質感もシャープにくっきり ・断面も綺麗に表現 外構→3D Gaussian Splatting ・植栽を写実的に表現 詳しいメイキングは別の機会に話すかも！？ 7/31
前川邸3Dデジタルアーカイブ ちなみに、去年の『Unreal Fest’24 Tokyo』に登壇しまして、 同じ江戸東京たてもの園の『子宝湯』3Dデジタルアーカイブのメイキングをお話しました！ アーカイブ配信はこちら https://www.unrealengine.com/ja/events/unreal-fest-2024-tokyo RealityScan (旧RealityCapture) の使い方、応用的なテクニックなど紹介してます。 8/31
蹴上インクラインVR 京都の琵琶湖疏水、蹴上リンクラインをフォトグラメトリ！ なんと国宝指定へ！ 実はこのフォトグラメトリ、 撮影時期も機材も違うものを合体。 • 蹴上船溜 ：2023/6 一眼 • ねじりまんぽ ：2023/6 一眼 • 桜並木 ：2025/4 Insta360 • 三十石船 ：2025/4 一眼 https://youtu.be/78YGnGnb6us 2年前に訪れた際「三十石船もスキャンして動かしたい＆桜並木も再現したい」衝動に駆られ、実現！ 9/31
蹴上インクラインVR 京都の琵琶湖疏水、蹴上リンクラインエリアをフォトグラメトリ！ 空間を体験できるだけでなく、 琵琶湖疏水や 三十石船の動きについて 学べるワールドにしてみた。 こちらから体験できます https://youtu.be/sIl6E_dOBxE https://lilea.net/lab/kyoto-vr-keage-incline/ 10/31
蹴上インクラインVR 新たなチャレンジ その1 桜を点群で表現！ 本当は3DGSで表現したいところだったけれど、 メタバースプラットフォーム(VRChat)に 3DGSを持ち込むのは非凡な能力が必要… つよすぎる人達 しかし私は点群が好きだからいいのだ。 なぜか弊社Slackには :we_love_tengun: 絵文字がある 11/31
蹴上インクラインVR 新たなチャレンジ その1 桜を点群で表現！ ホロラボ (於保さん) が独自開発した、 メタバースプラットフォーム対応 ＆LoD対応の大規模点群描画システム！ スクリプトなし、シェーダーのみで実現して るすごいやつ。 東京藝大さんの「デジタル上野の杜」 プロジェクトはこのシステムを導入。 点群ワールド遊びにきて～。 https://learning.unity3d.jp/8900/ 12/31
蹴上インクラインVR 新たなチャレンジ その2 人を消す！ https://youtube.com/shorts/h2mgAVke-Yw さすが桜の名所。 近場に宿を取り、深夜＆早朝に現場に行くも、普通に人がいる。 なので人がいる中でInsta360動画撮影。 しかし、やはり人を消し去りたい！ というわけで、AI活用！ 13/31
AI活用 最近の取り組み＆TIPS ⚫ 江戸東京たてもの園『前川邸』3Dデジタルアーカイブ ⚫ 京都『蹴上インクライン』VR AI活用 ⚫ 生成AIの活用 ⚫ AIコーディングの活用 最近のフォトグラメトリと3DGS(ガウシアンスプラッティング) ⚫ RealityScan ⚫ 様々な3DGS 14/31
生成AIの活用 どうやって動画から人を消した？ 1. Insta360で動画撮影 2. Insta360 Studioで全天球動画に書き出し 3. 『FFmpeg』で連番画像化 4. 連番画像に対し『Segment Anything』でセグメンテーション 5. 『Yolo』で人物部分のセグメントを特定しマスク画像生成 6. マスク画像を使い『Stable Diffusion』で人物部分を生成AI塗りつぶし 15/31
生成AIの活用 Stable Diffusion インペイント処理 (生成AI塗りつぶし) 処理前 処理後 16/31
生成AIの活用 フォトグラメトリ結果 処理前 処理後 17/31
AIコーディングの活用 AIコーディングも便利。 生産性爆像という話は、本当にそう 作ってみたツール達 ⚫ 連番画像から人を消すツール ⚫ 全天球画像 → キューブマップ画像 変換ツール ⚫ Metashapeの全天球画像xml → キューブマップxml 変換ツール ⚫ Metashapeのチャンクを原点基準90度回転ツール ⚫ フォトグラメトリFBX → UnlitなGLB/USDZ 変換ツール ⚫ COLMAPの txt bin 簡易相互変換ツール ⚫ 2つのフォルダにある同名の画像を乗算合成ツール ⚫ 2つのフォルダにある同名の画像を透過PNGマスク合成ツール etc... 処理の様子を紹介 18/31
連番画像から人のマスク画像を作るツール https://youtu.be/hHHnX3f2OdY 19/31
連番画像から人を消すツール https://youtu.be/WyWIksrmuqg 20/31
Metashapeの全天球画像xml → キューブマップxml 変換ツール https://youtu.be/DpyP9QJaZaw 360度動画 → Metashapeアライメント → postshot等で3DGS生成 21/31 が可能に
フォトグラメトリFBX → UnlitなGLB･USDZ変換ツール https://youtu.be/hHHnX3f2OdY 22/31
AIコーディングの活用 どうやってつくってるのか？ 簡単に流れを紹介 23/31
フォトグラメトリFBX → UnlitなGLB･USDZ変換ツール https://youtu.be/qbDTS_tRis8 24/31
最近のフォトグラメトリと3DGS 最近の取り組み＆TIPS ⚫ 江戸東京たてもの園『前川邸』3Dデジタルアーカイブ ⚫ 京都『蹴上インクライン』VR AI活用 ⚫ 生成AIの活用 ⚫ AIコーディングの活用 最近のフォトグラメトリと3DGS(ガウシアンスプラッティング) ⚫ RealityScan ⚫ 様々な3DGS 25/31
RealityScan 航空LiDARに対応 つまり、バーチャル静岡点群も処理し放題！ 静岡点群で作った『富士山VR』 当時は Metashapeでメッシュ化＆テクスチャ生成して制作。 今後はRealityScanでもいけるぞ！ https://youtu.be/Q6Q6NKJKXrU 26/31
様々な3DGS 主にPC処理かつ広域大規模シーンにおいての比較 (検証中なので誤りもあるかもだけど) UI 外部アライメント利用 リファイン制御 本家 Inria 3DGS CUI ◯ ◯ postshot GUI ◯ nerfstudio CUI gsplat CUI 大規模シーン処理安定性 処理の中断と再開 商用利用 △ 処理枚数上限8192枚 ◯ ✕ ✕ ◯ ◯ ◯ ◯ ◯ △ Out of memoryなりがち ◯ ◯ ◯ ◯ ◯ ✕ (要開発) ◯ ◯ ※外部アライメント利用：RealityScan、Metashape、Colmap等のデータを利用できるか ※リファイン制御：Splatの複製/分割処理を停止させ初期点群のみでSplat生成できるか 最近はgsplatも試してる ※△部分もコード編集すればいけるのかもしれない？(難易度高そう) ※2025/7/6追記 gsplatもsimple_trainer.pyを編集してみたところ処理の中断と再開できた！これは検証捗る。 27/31
gsplat 『postshot』と『gsplat』の比較 (360度動画ベースの例) 地面とその下のSplatの状況 postshot gsplat • 地面下に大量のSplatが発生してしまった • 不要なSplat発生を制御できる • 広域になるとディテールが落ちてしまう • 広域処理へ対応したパラメーター設定が可能
gsplat 『gsplat』と『3DGUT』の使い方 環境構築方法をまとめました！ https://lilea.net/lab/h ow-to-setup-gsplat/ 29/31
2DGS フォトグラメトリでは破綻してしまう綺麗すぎる面(特徴点のない面) 八王子車人形 (民俗文化財/重要無形民俗文化財) フォトグラメトリ 2DGS→メッシュ化 2DGSの環境構築と使い方はたかやんさんがまとめられてます https://qiita.com/takayan660/items/abbb26599b9f55f21a0e 30/31
おわり AI活用による生産性向上っぷりが楽しすぎる。 『こんな機能があったらな～』 が自分で作れてしまう世界。 『これ面倒だな～』 が自動化できる世界。 3Dスキャン/3Dデジタルアーカイブでもがんがん活用していこう！ このスライドはここで公開しました→ https://www.docswell.com/s /lileaLab/ZM7MQX-250704 3D SCAN MEETUP in SHIZUOKA ～最新事例とAI活用～ 31/31