--- title: 3DGSで白い壁や床がもやもやになる対策集 - 3D Scan meetup in SHIZUOKA vol.2 tags: #3dデジタルアーカイブ #3d gaussian splatting #3dgs author: [龍 lilea](https://image.docswell.com/user/lileaLab) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/4EMYRN8VEW.jpg?width=480 description: 3DGSで白い壁や床がもやもやになる対策集 - 3D Scan meetup in SHIZUOKA vol.2 by 龍 lilea published: July 24, 26 canonical: https://image.docswell.com/s/lileaLab/5JW64V-260724 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/4EMYRN8VEW.jpg) 3DGSで白壁や床面で発生しがちな もやもやフローターノイズ対策集 龍 lilea / ホロラボ # Page. 2 ![Page Image](https://bcdn.docswell.com/page/PER9RD5WJ9.jpg) 自己紹介 SNS OK 株式会社 ホロラボ 藤原 龍 Ryo FUJIWARA 龍 lilea OK 建築や空間の ビジュアライゼーションな人 X@lileaLab ⚫ 前職 2010年～ 鹿島建設Grアルモ設計 建築ビジュアライゼーション(CGパース/動画/AR/VR) 現職 2019年～ ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/3DGS/レーザースキャン) 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/P7XQR1KVEX.jpg) つくったもの 旧都城市民会館 VRAA Meetup会場 中銀カプセルタワービル 首里城復元プロジェクト 東京メトロ 車両 ビーナスフォート 二条城 唐門 博物館動物園駅 デジタル上野の杜 沖本家住宅 サントリーホール 国立科学博物館 東京メトロ 模擬駅 3Dデジタルアーカイブ かれこれ8年に 江戸東京たてもの園 子宝湯 ←VRワールドこちらで公開中！ 江戸東京たてもの園 前川邸 その他の事例集こちら！→ 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/37K9R2557D.jpg) 本日のメニュー 3DGSで白壁や床面で発生しがちなもやもやフローターノイズ対策！ 撮影で対処編 処理で対処編 機材で対処編 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/LJ3W84K1J5.jpg) 撮影で対処 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/8JDKMQ3KEG.jpg) フローターノイズ対策 撮影で対処編 すぐ導入できる方法 壁スレスレなアングルで写真を撮れ！ 「壁面はここにあるんだよ！」とわかりやすく伝えてあげよう。 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/VEPKRL4378.jpg) フローターノイズ対策 撮影で対処編 壁スレスレなアングルで写真を撮れ！ 壁面写真：なし 壁面写真：あり # Page. 8 ![Page Image](https://bcdn.docswell.com/page/27VVRQXN7Q.jpg) フローターノイズ対策 撮影で対処編 壁際の写真撮影 平面の表示 黄色が壁際の撮影位置 写真の大半が壁面 有効な特徴点が得られない ピンボケ発生リスク大 壁面は最低限 カメラは室内側に向け パンフォーカスにして 特徴点もしっかり得る # Page. 9 ![Page Image](https://bcdn.docswell.com/page/5JGLMWV57L.jpg) 処理で対処 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/47QYR36LEP.jpg) フローターノイズ対策 処理で対処編 もう撮影は済んでしまってるから撮影しなおしは出来ないケース。 3DGS生成時の設定次第でまだなんとかなる！ ノイズのない綺麗な初期点群を用意してー A) ｢リファイン｣させずに3DGS生成する B) ｢点群位置を極力維持｣して3DGS生成する # Page. 11 ![Page Image](https://bcdn.docswell.com/page/KE4W8145J1.jpg) フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 リファインとは？ 3DGSは 分割 削除 移動 回転 拡縮 という処理をしながら育っていく。 これを繰り返す事でSplatは 初期点群の位置から最適化されていく。 しかし、白壁は特徴点が不足しているため 壁の正しい位置がわからない。 その結果もやもやになってしまう。 ↓ なので、このリファイン処理を止めてしまおう！ ↓ つまり、初期点群の位置を正しいものとして そこからSplatを動かさないという方法。 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/L71Y2G42JG.jpg) フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 リファイン 停止処理： なし リファイン 停止処理： あり Stop Refineを0にしてしまう。 実質リファインされなくなる。 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/G7WGRKX2E2.jpg) フローターノイズ対策 処理で対処編 A）｢リファイン｣させずに3DGS生成する。 しかしデメリットもある。 ◆ 最適な密度の配置になっておらず過不足がある ◆ 初期点群が存在しないものが再現できない 遠景 ガラスにうっすら映り込んでいるもの 底の見えない水面 そこで⋯ # Page. 14 ![Page Image](https://bcdn.docswell.com/page/4JZLRZ64E3.jpg) フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する Aのデメリットへの対策方針 Splatを初期点群の位置から極力動かさないが完全拘束はしない 実はいくつかそうした方面の研究がいくつかある。 Structured-Li-GS LI-GS 点群をアンカーにして、flatten / offset / depth / normal loss で拘束 点群を plane-constrained GMM に変換し、初期化と最適化の両方で拘束 GTLR-GS GS-SDF 点群を初期値ではなく、allocation / refinement / metric depth regularization 全体に使う 点群からSDFを作り、SDFで Gaussian を面に拘束 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/YE6WRZ2GEV.jpg) フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する Splatを初期点群の位置から極力動かさないが完全拘束はしない しかし既存3DGSツールにはこうした機能は実装されていない⋯ なので作ってみた！ LichtFeld Studioを独自にアップグレード！ 改 LichtFeld StudioはOSSなので独自に機能を追加できる。Claude Fable 5で実装！ # Page. 16 ![Page Image](https://bcdn.docswell.com/page/GE5M8W2XE4.jpg) フローターノイズ対策 処理で対処編 B)「点群位置を極力維持」して3DGS生成する 独自パラメーター Point Cloud Prior 改 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/9729KQ4QJR.jpg) フローターノイズ対策 処理で対処編 『ややこしい』 『難しそう』 『もっと簡単な方法ないのか』 という声が聞こえてくる⋯ というか私がそう思ってる⋯ あるぞ別の方法が！財力で殴る！機材編！ # Page. 18 ![Page Image](https://bcdn.docswell.com/page/DJY4NWMY7M.jpg) 機材で対処 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/V7NYX9WRE8.jpg) フローターノイズ対策 機材で対処編 見の蓋もないが、機材に頼る案！ 写真のみで3DGS XGRIDSスキャン から3DGS # Page. 20 ![Page Image](https://bcdn.docswell.com/page/YJ9P82XZ73.jpg) フローターノイズ対策 機材で対処編 なぜ穴が空いた…？ XGRIDSは初期点群の位置からのみSplatを生成する仕様のため。 しかしこれはとても合理的！ ◆ 一般的な3DGS ◆ XGRIDSの3DGS 写真の特徴点をベースにSplat生成 スキャン点群をベースにSplat生成 ↓ 正確な特徴点検出、正確なデプス計算が できないと、空中にもSplatが発生し フローターノイズとなる。 ↓ 空中に点群が生成される事は基本的には 無いので、フローターノイズを防げる。 そうした仕様のため、点群が取得されてい ない場所はSplatが生成されず穴が開く。 レーザーの照射方向、点群密度を意識する事が重要！！ 狭い通路部分で床に穴が空いてしまった 各スキャナの違いやスキャンテクニック などこちらにまとめました→ https://zenn.dev/hololab/articles/xgrids-how-to-scan # Page. 21 ![Page Image](https://bcdn.docswell.com/page/GJ8D859YJD.jpg) フローターノイズ対策 機材で対処編 広域モデル Lixel L2 Pro 120m / 300m 照射方向 直下以外270度 照射距離 小域モデル 中域モデル Lixel K2 照射距離 100m 照射方向 上方60度 往復推奨 PortalCam 照射距離 30m 照射方向 前方180度 往復必須 各スキャナの違いやスキャンテクニック などこちらにまとめました→ https://zenn.dev/hololab/articles/xgrids-how-to-scan # Page. 22 ![Page Image](https://bcdn.docswell.com/page/LJLMRYW9ER.jpg) おわり そして宣伝で〆る！ 弊社XGRIDS取り扱っております！ 試してみたい方お声がけくださいな。 私もデモに駆けつけます XGRIDSに限らず、 3DGS写真撮影やスキャンテクニックなどの相談も承り～ もちろんデータやコンテンツ制作も！ このスライドはこちら→で公開しました