【DL輪読会】Gaussian Splatting SLAM

DEEP LEARNING JP [DL Papers] 論文紹介： Gaussian Splatting SLAM Ryosuke Ohashi, bestat Inc. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • arXivプレプリント（2023年12月） • Gaussian Splattingを使ってDense SLAMをやってみた論文 • Gaussian Splattingを使うメリットが気になったのでピックアップ 2

背景：Gaussian Splatting • 3D Gaussian（色の付いた楕円型のガス）の群れで3Dシーンを表現 • Instant-NGPよりも計算コストが低く，リアルタイムレンダリング可能 • SfMの結果を利用し，多視点画像を綺麗に3D化できる https://repo-sam.inria.fr/fungraph/3d-gaussian-

• https://repo-sam.inria.fr/fungraph/3d-gaussian-

背景：SLAM • 空間マッピングとカメラの自己位置推定を同時にリアルタイムに行う技術 • Sparse SLAM：画像の疎な特徴点を使う • Dense SLAM：画像の全てのピクセル情報を使う Sparse SLAMの例：ORB-SLAM https://arxiv.org/abs/1502.00956 • CPUのみで動くものが多い • 地図が疎で人間には親しみづらい • 特徴点が少ない環境では不安定 Dense SLAMの例：KinectFusion https://www.microsoft.com/en-us/research/wpcontent/uploads/2016/02/ismar2011.pdf • • • GPUが必要なものが多い 地図が密で人間にも親しみやすい 特徴点が少ない環境でもいくらか頑張れる

• https://arxiv.org/abs/1502.00956
• https://www.microsoft.com/en-us/research/wp-

Gaussian Splatting SLAM • Gaussian SplattingベースのDense SLAM https://arxiv.org/abs/2312.06741 ※紹介論文からの引用は以降割

• https://arxiv.org/abs/2312.06741

Gaussian Splatting SLAM • トラッキング • カメラ画像とガウシアン地図をレンダリングした画像との間の測光誤差最小化によりカメ ラポーズの変位を推定する • RGB-Dカメラを使っている場合，深度誤差最小化も入れる

Gaussian Splatting SLAM • トラッキング • 半透明・反射質のオブジェクトの深度は計測エラーが大きく信頼できないので，２つの 誤差をうまくブレンドするとよい • 自動微分でやると遅いので手動で微分計算しておいたCUDAカーネルを書く必要あり

Gaussian Splatting SLAM • キーフレーミング • 全ての画像を使って地図を作ると重複した計算が多いので，一部のフレーム（キーフレー ム）のみを使って地図を作る • 前のキーフレームと共通の可視領域がある程度少なくなったらキーフレームを追加するシン プルな方法を利用

Gaussian Splatting SLAM • マッピング • キーフレームが増える度に初期状態のガウシアンをうまいこと地図に追加・削除し，全キー フレームの測光誤差最小化によりガウシアン地図およびキーフレームのカメラポーズを更新 する • • 実際には新しめのキーフレームとランダムな過去のキーフレームに限定して更新する（FPSか せぎ） 細長いガウシアンはアーティファクトを起こしやすいので，細長くなりすぎないような正則化 を入れている

実験・結果 • TUM RGB-DデータセットやReplicaデータセット，Realsense D455で撮った自前データ セットで実験 • 先行研究より良くなった点 • オフラインSfMなしで，オンラインSLAMによるGaussian Splattingを実現 • Depthカメラを使わないDense SLAMとしては過去一綺麗な地図構築を実現 • Gaussian Splattingに基づくカメラトラッキングは既存手法よりも収束域が広い • ループクロージャーなしなのにトラッキング精度が良い

実験・結果 • オフラインSfMなしで，オンラインSLAMによるGaussian Splattingを実現 • ただし3FPS (on Core i9 12900K & RTX4090) • • ロボットに載せてリアルタイムに使える 動的に変化する環境に応用しやすそう

実験・結果 • Depthカメラを使わないDense SLAMとしては過去一綺麗な地図構築を実現 • 点群よりも少ない点数で柔軟な表現が出来るため • ディテールや半透明なオブジェクトも綺麗に表現 • ロボットに別視点から見た状況を分析させるのに使えそう

実験・結果 • Gaussian Splattingに基づくカメラトラッキングは既存手法よりも収束域が広い • Gaussianを使うと局所的な誤差が離れたGaussianにも綺麗に伝わる • Depthセンサーの有無に関わらず大きなカメラ変位でもトラッキング成功 • NeRFよりもトラッキングの収束域が広い（しかも速い）

実験・結果 • トラッキング精度もループクロージャーなしのものとしては優れている • RGB-Dカメラを使う場合はループクロージャーなしでも十分精度が高い

まとめ・感想 • まとめ • Gaussian Splattingに基づくSLAMを提案 • トラッキング精度・地図品質の向上を実現 • 感想 • Gaussian SplattingはNeRFよりも計算コストが軽いのにトラッキング収束域が広いとこ ろが感動的だった • ループクロージャーへの対応や手ブレ画像への対応などの進展にも期待できそうで面白い