フォトグラメトリ/ガウシアンスプラッティング による 町並みや建物の文化財3Dデジタルアーカイブ @文化財 XRミートアップ東京

フォトグラメトリ/ガウシアンスプラッティング による 町並みや建物の文化財3Dデジタルアーカイブ

自己紹介 株式会社ホロラボ 先進技術グループ/ SIAR(空間情報技術)チーム 藤原 龍 Ryo Fujiwara 龍 lilea X@lileaLab ⚫ 2010年～：鹿島建設Grアルモ設計 建築ビジュアライゼーション/シミュレーションなど 2019年～：ホロラボ 空間情報技術 ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用（フォトグラメトリ/レーザースキャン/3DGS） 2/44

• https://twitter.com/lileaLab

本日のメニュー ⚫ フォトグラメトリとは？ガウシアンスプラッティングとは？ 簡易版 ⚫ ノウハウ＆TIPS紹介！ ダイジェスト版 ⚫ どんな活用方法があるの？ 3/44

フォトグラメトリとは？ ガウシアンスプラッティングとは？ 4/44

Photogrammetry & 3DGS 写真や動画から3次元空間を構築する手法 物や空間を3Dデジタルアーカイブ！ 5/44

Photogrammetry & 3DGS どんなものが作れるの？ 世界遺産だとこんなのやりました。 二条城 唐門 首里城 6/44

Photogrammetry & 3DGS 首里城 Google Arts & Culture https://artsandculture.google.com/story/LwUhIZnN4gaTJA?hl=ja 7/44

• https://artsandculture.google.com/story/LwUhIZnN4gaTJA?hl=ja

Photogrammetry & 3DGS 首里城 失われてしまった建物の復元 1. 首里城の写真を募る 2. 世界中より写真が届く！ 3. 機械学習を用いた画像分類 4. フォトグラメトリ処理 8/44

Photogrammetry & 3DGS 首里城 失われてしまった建物の復元 1. 首里城の写真を募る 2. 世界中より写真が届く！ 3. 機械学習を用いた画像分類 4. フォトグラメトリ処理 写 真 写真の力は偉大！ 9/44

Photogrammetry & 3DGS 写真の力は偉大！ ⚫ 過去の写真や映像からも復元できる ⚫ 過去に処理したデータも進化する → ソフトウェアのアップデート → 新たな技術の誕生 10/44

Photogrammetry & 3DGS 過去に処理したデータも進化する 昔フォトグラメトリ処理して失敗し挫折したデータ。 日田市 ひな人形ミュージアムひな御殿 大きく破綻 (当時のスキルと機材不足) 5年の時を経てガウシアンスプラッティングにて昇華！ 11/44

Photogrammetry & 3DGS 今写真や映像を撮っておくことで将来活用できる可能性を大いに秘めている！ ボケていない写真、ブレていない写真、オーバーラップが十分確保されている写真、 等など適した写真撮影を撮るスキルは求められるが、これらはあくまで現時点の話。 ブレていても処理できるような論文も発表されていたりもするので、 将来的にはより柔軟に処理が可能になる可能性がある。 Deblur-GS 3D Gaussian Splatting from Camera Motion Blurred Images https://dl.acm.org/doi/10.1145/3651301 撮影スキルに自信が無かったとしても今のうちにガンガン撮ってしまおう！！ 12/44

• https://dl.acm.org/doi/10.1145/3651301

Photogrammetry & 3DGS そんなガウシアンスプラッティングでつくってみた 「京都 清水寺参道」産寧坂～二年坂～八坂通 600mの道程 今日展示してます！ 水曜に一般公開したばかり！ https://lilea.net/lab/kiyomizuderasando-3dgs/ 13/44

• https://lilea.net/lab/kiyomizudera-sando-3dgs/

どうやって作ったの？ 14/44

How to PGM/3DGS どうやって大規模なフォトグラメトリ/ガウシアンスプラッティング作るの？ ワークフロー＆TIPS放出！ 秋の登壇ラッシュ！ ⚫ ホロラボテックショーケース ⚫ UNREAL FEST ⚫ CGWORLDクリエイティブカンファレンス ⚫ 文化財 XRミートアップ東京 ←イマココ 15/44

How to PGM/3DGS ワークフロー＆TIPS放出！ ⚫ ホロラボテックショーケース →フォトグラメトリとガウシアンスプラッティングの違いの話 https://bit.ly/3V4WKpg ⚫ UNREAL FEST → フォトグラメトリの話 「江戸東京たてもの園 子宝湯」のメイキング ⚫ CGWORLDクリエイティブカンファレンス https://bit.ly/3Z8VF1g → ガウシアンスプラッティングの話 「京都3DGS」のメイキング https://bit.ly/3YZOJ6u 16/44

• https://bit.ly/3V4WKpg
• https://bit.ly/3Z8VF1g
• https://bit.ly/3YZOJ6u

ホロラボテックショーケース 「3Dデジタルアーカイブ手法比較と最新事例」 ⚫ データ構造の違い ⚫ 表現力の違い ←ダイジェストで紹介 ⚫ 制作コストの違い ⚫ 描画負荷の違い ⚫ 表示可能な環境の違い 17/44

ホロラボテックショーケース 表現力の違い 細かな模様 テクスチャ感 ガウシアンスプラッティング：△ フォトグラメトリ：◯ 石畳や瓦、犬矢来の細かなテクスチャ感はフォトグラメトリの方が細かく再現できている 18/44

ホロラボテックショーケース 表現力の違い ガラスの透過や反射 ガウシアンスプラッティング：◯ フォトグラメトリ：△ 3DGSは店内を表現しながら、ガラスに映り込む石畳や傘も綺麗に表現できている ※フォトグラメトリはメッシュがガタガタで汚い状態になってしまう 19/44

ホロラボテックショーケース 制作工程の違い 3DGSは後処理の工程が少なく済む フォトグラメトリより低コストで生成できる (…という傾向はあるがもちろん対象や用途に よっても工数の比率は変わってくる) 20/44

ホロラボテックショーケース 制作工程の違い 小規模案件を例に、後処理パートの工数の違い一例 ※フォトグラメトリの場合であっても破綻が少ない対象の場合はここまで 大きな差は出来ないので、あくまでこれは一例 ※わかりやすいからカレンダーのフォーマット使ったけど土日は休むよ！ 21/44

UNREAL FEST 『Meta Bath デジタルで見る子宝湯』RealityCaptureメイキング紹介 1 撮影編 撮影の計画 撮影の仕方 2 処理編 RealityCaptureのワークフロー＆TIPS a アライメント アライメント失敗時どうする？大規模シーン処理TIPS b メッシュ レーザースキャンデータ処理向上テク c テクスチャ テクスチャを大量使用する場合のノウハウ＆品質向上テク 3 モデルクリーンアップ どんな破綻が起きてどうやって修正しているのか 4 その他TIPS コマンドラインによる自動化 5 3D Gaussian Splatting活用 フォトグラメトリデータを3DGSで活用 特設サイト スマホAR版 STYLY版 22/44

CGWORDLクリエイティブカンファレンス 大規模 広域 3D Gaussian Splatting の生成ワークフロー＆TIPS ⚫ ガウシアンスプラッティングとは？フォトグラメトリとの違いは？ ⚫ ガウシアンスプラッティング生成 基本編 ⚫ ガウシアンスプラッティング生成 応用＆TIPS編 ←ダイジェストで紹介 ⚫ 撮影のコツ/注意点 23/44

応用編 大規模 広域なシーンを処理する際のポイント ⚫ エリアを分割して処理する ⚫ フォトグラメトリソフトで写真位置推定する ⚫ 初期点群を別途用意する 24/44

応用編 – エリア分割 これはシンプル。簡単に実施できる方法。 600m全域で処理した場合 100m分のみで処理した場合 同じデータセットから処理したい場合でも、エリアが広くなるほど細部の再現性度が下がってしまう。 逆にエリアを分割し狭めれば再現精度は高くなる。 25/44

応用編 – エリア分割 個別に処理してからそれぞれのデータを合体させる。 26/44

応用編 – 初期点群を別途用意 3DGSは処理開始時に｢Initial Points｣という｢初期点群｣が使われる。 • 初期点群の位置を基準にSplatが生成/分割されていく • 初期点群がある事で処理時間も短縮される 初期点群 Splat 27/44

応用編 – 初期点群を別途用意 初期点群を自前で用意しちゃおう！ 通常の 初期点群 独自に用意した 高密度な初期点群 28/44

応用編 – 初期点群を別途用意 初期点群は一般的な点群のフォーマット .ply points3D.bin .csv：カメラパラメーター .ply：特徴点点群 .out：カメラパラメーター ＋特徴点点群 29/44

フォトグラメトリや3DGSは何が嬉しいの どんな事出来るの 30/44

メタバースプラットフォームでの盛り上がり これまでに制作したワールドの一部をご紹介 趣味 お仕事 中銀カプセルタワービル 博物館動物園駅 ・cluster ・VRChat ・STYLY 等で公開中。 スマホやPCで体験いただけます。 旧都城市民会館 31/44

メタバースプラットフォームでの盛り上がり 交流の場やロケ地として利用いただけてます ロケ地 ロケ地 バーチャル観光 ベネチア国際映画祭 交流 バーチャル建築ツアー 32/44

ノリで色々つくってみた 33/44

つくってみた その１ きっかけは、Takataさんの呟き。 石垣パズル、おもしろそう。 34/44

つくってみた その１ 「富山城 石垣パズルVR」 富山城マニア、石垣マニアじゃないと完成不可能な難易度パズル。 35/44

つくってみた その１ 「富山城 石垣パズルVR」 これは遊びではあるものの、遊びきっかけで文化財等への興味や関心が拡がらないだろうか。 現地では柵もあり石垣をまじまじと見るのも簡単ではなかったり (周りの目も気になったり) 。 VRなら石垣に登って間近にみる事もできて、石垣を愛で放題。 36/44

つくってみた その２ なにか「便利なもの」はつくれないか？ 3Dと2Dの両方を確認できるもの。 37/44

つくってみた その２ なにか「便利なもの」はつくれないか？ 空間や形状はフォトグラメトリ/3DGSで確認し、細部は写真で確認するアプリ。 情報の欠落や破綻のない元の写真が参照できるというのも有用なのでは？検査、調査等において。 RealityCapture使ってる人は自分でそれでやれ ば良い話だけれど、他社と共有する際にはは約 だったりするかも？ Webに埋め込んで共有したりも。 38/44

つくってみた その３ ｢3D&2Dビューワー｣ Apple Vision Proバージョン 空間コンピューティングならではの使い方が可能に。 通常のPC同様に複数アプリが立ち上げられるのがVision Proの特性。 エクセル資料作りをしながらフォトグラメトリモデルの3D&2D情報もシームレスに確認できる。 39/44

つくってみた その３ ｢3D&2Dビューワー｣ Apple Vision Proバージョン Apple Vision Proは 「非日常の特別な体験」というだけでなく、 「日常の業務を効率的に便利に」という側面も持っている。 空間コンピューティングという名称の意味を実感してきているこの頃。 Mac, iPhone, iPad等の連携により真価を発揮。 40/44

ホロラボ開発の事例 41/44

ホロラボ開発事例 大規模点群も表示出来てしまう点群ビューワー「Dawn」 数百億点の点群も軽快に表示！ 東京都公開 23区全域 300億点 静岡県公開 富士山 100億点 42/44

ホロラボ開発事例 手軽にポリゴンとテクスチャの軽量化できるツール 「ModerateWeightReductionTools」 https://github.com/HoloLabInc/ModerateWeightRe ductionTools/blob/main/README_JP.md ポリゴン削減とテクスチャ最適化によるモデルの軽 量化を初心者でも手軽に使えるようにしたツール。 通常はポリゴンリダクションやテクスチャの再投影 とうは複数のDCCツールを用いて行うが、Blenderさ えあれば出来るツール。 43/44

• https://github.com/HoloLabInc/ModerateWeightReductionTools/blob/main/README_JP.md

おわり 『京都 清水寺参道 ガウシアンスプラッティング』アプリ公開しました！ 大規模3DGSで手元で自由に巡れるコンテンツとしては今 はまだ珍しい方かも？ ご体験ください！今日展示もしてます。 https://lilea.net/lab/kiyomizudera-sando-3dgs/ ｢フォトグラメトリ手順書 v2｣ RealityCaptureによる広域大規模フォトグラメトリの全ワークフローを解説。 3DGS編も少しあるよ。 https://zenn.dev/lilealab/books/how-to-photogrammety 44/44

• https://lilea.net/lab/kiyomizudera-sando-3dgs/
• https://zenn.dev/lilealab/books/how-to-photogrammety