3DGSで白い壁や床がもやもやになる対策集 - 3D Scan meetup in SHIZUOKA vol.2

3DGSで白壁や床面で発生しがちな もやもやフローターノイズ対策集 龍 lilea / ホロラボ

自己紹介 SNS OK 株式会社 ホロラボ 藤原 龍 Ryo FUJIWARA 龍 lilea OK 建築や空間の ビジュアライゼーションな人 X@lileaLab ⚫ 前職 2010年～ 鹿島建設Grアルモ設計 建築ビジュアライゼーション(CGパース/動画/AR/VR) 現職 2019年～ ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/3DGS/レーザースキャン) 2

つくったもの 旧都城市民会館 VRAA Meetup会場 中銀カプセルタワービル 首里城復元プロジェクト 東京メトロ 車両 ビーナスフォート 二条城 唐門 博物館動物園駅 デジタル上野の杜 沖本家住宅 サントリーホール 国立科学博物館 東京メトロ 模擬駅 3Dデジタルアーカイブ かれこれ8年に 江戸東京たてもの園 子宝湯 ←VRワールドこちらで公開中！ 江戸東京たてもの園 前川邸 その他の事例集こちら！→ 3

本日のメニュー 3DGSで白壁や床面で発生しがちなもやもやフローターノイズ対策！ 撮影で対処編 処理で対処編 機材で対処編

撮影で対処

フローターノイズ対策 撮影で対処編 すぐ導入できる方法 壁スレスレなアングルで写真を撮れ！ 「壁面はここにあるんだよ！」とわかりやすく伝えてあげよう。

フローターノイズ対策 撮影で対処編 壁スレスレなアングルで写真を撮れ！ 壁面写真：なし 壁面写真：あり

フローターノイズ対策 撮影で対処編 壁際の写真撮影 平面の表示 黄色が壁際の撮影位置 写真の大半が壁面 有効な特徴点が得られない ピンボケ発生リスク大 壁面は最低限 カメラは室内側に向け パンフォーカスにして 特徴点もしっかり得る

処理で対処

フローターノイズ対策 処理で対処編 もう撮影は済んでしまってるから撮影しなおしは出来ないケース。 3DGS生成時の設定次第でまだなんとかなる！ ノイズのない綺麗な初期点群を用意してー A) ｢リファイン｣させずに3DGS生成する B) ｢点群位置を極力維持｣して3DGS生成する

フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 リファインとは？ 3DGSは 分割 削除 移動 回転 拡縮 という処理をしながら育っていく。 これを繰り返す事でSplatは 初期点群の位置から最適化されていく。 しかし、白壁は特徴点が不足しているため 壁の正しい位置がわからない。 その結果もやもやになってしまう。 ↓ なので、このリファイン処理を止めてしまおう！ ↓ つまり、初期点群の位置を正しいものとして そこからSplatを動かさないという方法。

フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 リファイン 停止処理： なし リファイン 停止処理： あり Stop Refineを0にしてしまう。 実質リファインされなくなる。

フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 しかしデメリットもある。 ◆ 最適な密度の配置になっておらず過不足がある ◆ 初期点群が存在しないものが再現できない 遠景 ガラスにうっすら映り込んでいるもの 底の見えない水面 そこで⋯

フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する Aのデメリットへの対策方針 Splatを初期点群の位置から極力動かさないが完全拘束はしない 実はいくつかそうした方面の研究がいくつかある。 Structured-Li-GS LI-GS 点群をアンカーにして、flatten / offset / depth / normal loss で拘束 点群を plane-constrained GMM に変換し、初期化と最適化の両方で拘束 GTLR-GS GS-SDF 点群を初期値ではなく、allocation / refinement / metric depth regularization 全体に使う 点群からSDFを作り、SDFで Gaussian を面に拘束

フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する Splatを初期点群の位置から極力動かさないが完全拘束はしない しかし既存3DGSツールにはこうした機能は実装されていない⋯ なので作ってみた！ LichtFeld Studioを独自にアップグレード！ 改 LichtFeld StudioはOSSなので独自に機能を追加できる。Claude Fable 5で実装！

フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する 独自パラメーター Point Cloud Prior 改

フローターノイズ対策 処理で対処編 『ややこしい』 『難しそう』 『もっと簡単な方法ないのか』 という声が聞こえてくる⋯ というか私がそう思ってる⋯ あるぞ別の方法が！財力で殴る！機材編！

機材で対処

フローターノイズ対策 機材で対処編 見の蓋もないが、機材に頼る案！ 写真のみで3DGS XGRIDSスキャン から3DGS

フローターノイズ対策 機材で対処編 なぜ穴が空いた…？ XGRIDSは初期点群の位置からのみSplatを生成する仕様のため。 しかしこれはとても合理的！ ◆ 一般的な3DGS ◆ XGRIDSの3DGS 写真の特徴点をベースにSplat生成 スキャン点群をベースにSplat生成 ↓ 正確な特徴点検出、正確なデプス計算が できないと、空中にもSplatが発生し フローターノイズとなる。 ↓ 空中に点群が生成される事は基本的には 無いので、フローターノイズを防げる。 そうした仕様のため、点群が取得されてい ない場所はSplatが生成されず穴が開く。 レーザーの照射方向、点群密度を意識する事が重要！！ 狭い通路部分で床に穴が空いてしまった 各スキャナの違いやスキャンテクニック などこちらにまとめました→ https://zenn.dev/hololab/articles/xgrids-how-to-scan

• https://zenn.dev/hololab/articles/xgrids-how-to-scan

フローターノイズ対策 機材で対処編 広域モデル Lixel L2 Pro 120m / 300m 照射方向 直下以外270度 照射距離 小域モデル 中域モデル Lixel K2 照射距離 100m 照射方向 上方60度 往復推奨 PortalCam 照射距離 30m 照射方向 前方180度 往復必須 各スキャナの違いやスキャンテクニック などこちらにまとめました→ https://zenn.dev/hololab/articles/xgrids-how-to-scan

• https://zenn.dev/hololab/articles/xgrids-how-to-scan

おわり そして宣伝で〆る！ 弊社XGRIDS取り扱っております！ 試してみたい方お声がけくださいな。 私もデモに駆けつけます XGRIDSに限らず、 3DGS写真撮影やスキャンテクニックなどの相談も承り～ もちろんデータやコンテンツ制作も！ このスライドはこちら→で公開しました