おさらい3DGS_知ればワクワクする3DCG進化の最前線

XGRIDS Meetup Vol.2 おさらい3DGS 知ればワクワクする！3DCG進化の最前線 株式会社ホロラボ 長坂 匡幸 ©HoloLab inc. 1

自己紹介 長坂 匡幸（masanaga) マーケティング部Team1 SAIR デザインエンジニア 2021年よりホロラボ所属 主に3Dスキャン、デジタルアーカイブ業務に従事 趣味で駅弁をフォトグラメトリして展示しているWebサイトをやっています。 えきべん3Dミュージアム（https://ekiben.tascube.com/） ©HoloLab inc. 2

• https://ekiben.tascube.com/

はじめに 3D ガウシアンス スプラッティングってなんだっけ… 高負荷 VRAM 点群 金属表現 楕円体 透過表現 GPU ガウス分布 フォトリアル リアルタイム 視点依存性 デジタルツイン デジタルアーカイブ AI 3Dスキャン Webブラウザ 大量の写真 高速描画 ©HoloLab inc. 深層学習 3

はじめに 一旦落ち着いて… 3DGSは3DCGの仲間 ということを踏まえ、既存の3DCG表現技術との違いや 3DGSの特徴や長所・短所をおさらいし、なぜXGRIDSなのか、というお話ができればと思います。 ©HoloLab inc. 4

3DCG表現の現在地 3DCG表現は「三本柱」の時代 これまでの主流だった「点群」「ポリゴンメッシュ」。そこに新しい表現として「3Dガウシアン・スプラッティング (3DGS)」が登場。 点群 3Dガウシアン・ スプラッティング ポリゴンメッシュ X,Y,Zの座標と色情報の集まり。 3Dガウシアンの重なりで光の場を再現。 点を結んだ三角形の面で形状を定義。 スキャナによる現実空間の取得に強い。 写真品質を高速描画で実現。 マテリアル・テクスチャで質感表現。 ©HoloLab inc. 5

3DCG表現の現在地 3つの表現を「性能」と「捉え方」で比べる 点群 3Dガウシアン・ スプラッティング ポリゴンメッシュ 生成容易性 編集容易性 高品質表現 閲覧容易性 〇 ▲ × × スキャンで直接 視認性に難あり 色と密度の濃淡表現のみ PC性能に依存 ▲ ▲ ◎ ◎ 高性能GPUが必要 手法が確立段階 写真品質の表現 ブラウザで閲覧可能 ◎ ◎ ◎ ▲ ツールが充実 手法が充実 表現方法が多様 高品質では条件付き 目的次第で、表の見え方は変わる。── では「3Dスキャン視点」で見るとどうか。 ©HoloLab inc. 6

3DCG表現の現在地 3Dスキャン視点での比較 3DCG表現を活用するスキャン技術から見て似たもの同志。それぞれ何をしているのか？ 3Dガウシアン・ スプラッティング フォトグラメトリ 写真の撮影されていない視点を生成 Why 写真から3D形状を復元 新規視点合成 How 三次元再構成 3Dシーン＆スプラット What ポリゴンメッシュ&テクスチャ 形状を「復元」するのと、視点を「生成」するのでは似ているけどちょっと違う。 ©HoloLab inc. 7

3DCG表現の現在地 3Dスキャン視点での比較 3DCG表現を活用するスキャン技術から見て似たもの同志。でも、なにがどう違うのか。 3Dガウシアン・ スプラッティング フォトグラメトリ 複数視点の写真から「新しい視点のシーン」を作り出す 複数視点の写真から計算で形状を逆算 （新規視点合成） （三次元再構成） ©HoloLab inc. 8

3DGSの本質 3DGSは 3D形状ではなく シーンの表現をしている シーンとは光景や情景、場面という意味 見えているのは、3Dガウシアンが2Dに射影されレンダリング画像となった「光景」 ©HoloLab inc. 9

3DGSの本質 仕組みから見る、3DGSの正体 STEP1 STEP2 STEP3 STEP4 STEP5 3Dガウシアン生成 2Dへ射影 深度準ソート αブレンディング 最終的な色 楕円体を3D空間に配置 視点に応じたSplatが生成 重なり準を決定 透過率で色を合成 1ピクセルの色が決まる Fr ont Y Back 透過 率0. 8 透過 率0. 5 Depth 3D Gaussians Z X ピク セル 色の決定 Splat Back 透過 率0. 5 透過 率0. 5 人が見ているのはSTEP5の2Dのレンダリング画像。一方、3D情報はSTEP1の楕円体に格納されている。 ©HoloLab inc. 10

3DGSの本質 なぜシーンなのか。加工しづらさの原因 入力画像を正解として、3Dガウシアンを生成・移動・変形しながら近づけていく学習プロセス トレーニング 位置・スケール・回転などのパラメータを持 った3Dガウシアン楕円体を空間にばらまき、 正解画像と比較しながら色や形を変化させて いく。 比較 入力画像（正解） 新規視点で視点間を補完し 連続したシーンの高速レンダリングが 結果として3D空間として見える 楕円体の集まりは形状としてはとても曖昧。生成結果も入力画像の品質に依存。 どちらも後加工がしづらい原因。 ©HoloLab inc. 11

3DGSと光 3DGSのもう一つの顔。実体のないものの表現 点群やポリゴンメッシュでは表現できない領域。これが3DGSの最大の魅力。 3DGSは形のないものまで 再現できる唯一の3D表現 光の反射/半透明 雲海/もや/霧 特殊効果フィルター 光芒 髪の毛/葉の質感 点光源・ボケ ©HoloLab inc. 12

3DGSと光 実体のないものの例 - 特殊フィルター ©HoloLab inc. 13

3DGSと光 光の場を再現、シーンを表現、つまり 3DGS最大の強みは 光そのものを捉えること しかし、それが弱点にもなることがある。 ©HoloLab inc. 14

3DGSと光 課題 – 光が変わると3DGSは破綻する 3DGSは「形」ではなく「光と色」を学ぶ。だから、光環境変化はデータ破壊につながる。 例：屋内から屋外へ向けて露出差が激しい写真から生成されたノイズ（フローター） 1.撮影中に光が変化 2. 矛盾を学習 ©HoloLab inc. 3.ガウシアンが破綻 15

3DGSの課題解決 3DGSは撮る段階で勝負が決まる 3DGSの品質は入力画像に依存する。だからこそ「どう撮るか」が最大の課題であり面白さ 視点の網羅性 光環境の安定 撮影スピード 撮影されていない方向は再現が破 綻する。 撮影中の明るさの変化・影の動き が品質を下げる。 ブレない・ボケない適切な撮影ス ピードで写真品質の維持が重要。 あらゆる角度から撮影する必要性。 ©HoloLab inc. 16

3DGSの課題解決 XGRIDSの登場 「撮る」を進化させた専用ハードウェアが3DGSの可能性を一気に広げた 視点の網羅性 光環境の安定 撮影スピード ©HoloLab inc. LiDARが捉えた空間骨格をリアル タイム可視化が可能。 歩きながらの撮影で、光が変わる 前に撮り切る。 1.5s/m枚の高速連続撮影で安定 した撮影が可能 17

おさらい 3DGSの正体と、これから 3DGSを知るほど、「撮る」がもっと面白くなる。 ─ 今日のおさらいで、3つの問いに答えます。 違いは？ 「形」より「光と色」を捉える、3DCG表現の新しい仲間。 長所と短所 強み：写真品質で高速描画 / 弱み：撮影品質に全てが依存。 なぜ XGRIDS？ 「撮る」を進化させ、3DGSの弱点を構造的に解決。 ©HoloLab inc. 18

ありがとうございました ©HoloLab inc. 19