【論文紹介】Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

Instant Neural Graphics Primitives with a Multiresolutin Hash Encoding 被引用数： 92 （SIGGRAPH 2022）T Müller, A Evans, et al. https://arxiv.org/abs/2201.05989 論文を表す画像 どんなもの？ 技術の手法や肝は？ Positional Encodingの代わりにMultiresolution Hash Encodingを用いること で，Neural Graphic Primitivesの訓練を数十秒にまで高速化 Multiresolution Hash Encoding - 入力座標に対応する色･密度を，多重解像度のグリッドに対応する色･密度 の線形補間によって定める Neural Graphic Primitives (NGP) - ニューラルネットワークによるCGの表現のようなもの - NeRF, Gigapixel image, Signed Distance Function(SDF)など - その他GPUレベルでの最適化を行っている 先行研究と比べて何がすごい？ 先行研究として挙げられている高速化手法の多くは，タスクの種類やデータ 構造が限定されている 提案手法は先行研究よりもさらに高速で，NGP全般に適用可能な高速化手 法である どうやって有効だと検証した？ 数秒 ~ 数分訓練したInstant NGPを数時間訓練した先行研究と比較し，15秒 ほどの訓練で同程度の性能となることを示した - 条件: NeRF原著と同じ - タスク: Gigapixel Image, SDF, Neural Radiance Caching, NeRF - 評価手法: PSNR - 比較手法: NeRF, NSVF, mip-NeRF 1 2022/09/21

• https://arxiv.org/abs/2201.05989

どんなもの? Neural Graphic Primitives (NGP) とは Neural Graphic Primitives - Computer Graphic PrimitivesとしてNeural Networkを用いたもの Computer Graphic Primitives - CGを構成する要素 - 例: ピクセル，ポリゴン，ボクセル，点，線など 2

どんなもの? Neural Graphic Primitives (NGP) の例 Neural Gigapixel Images: (x, y)を入力してRGBを返すNNで画像を表現 Neural Signed Distance Fields(SDF): (x, y, z)を入力してSDF値を返すNNでオブジェクトを表現 NeRF: (x, y, z)を入力してRGB, 密度を返すNNでオブジェクトを表現 https://nvlabs.github.io/instant-ngp/ 3

• https://nvlabs.github.io/instant-ngp/

どんなもの? (補足) 先行研究: Neural Sparse Voxel Fields - NeRFの高速化手法のはしり - オブジェクトをOctree構造で表現することで，シーン中の何もない領域をできるだけ無視す るようにする - 離散的な表現になるので，空間的な距離による線形補間を行う Neural Sparse Voxel Fields 4

• https://lingjie0206.github.io/papers/NSVF/

先行研究と比べて何がすごい? Positional Encoding - MLPは高周波な関数をうまく近似できない → 入力を高周波な埋め込み表現によって高次元の空間に埋め込むことで，高周波な関数を 近似できるようにする 5

先行研究と比べて何がすごい? Parametric Encoding Parametric Encoding - 入力座標に依存する訓練可能なパラメータを追加して，encodingのために使う方法 - 勾配の逆伝播の際に，追加したパラメータはごく少数のみを更新すれば良い - octree構造の場合，1つのボクセルから逆伝播される勾配は，隣接する8つのボクセ ルにのみ伝播する - もとのMLPのサイズを小さくすることで，品質を犠牲にすることなく高速化できる 6

先行研究と比べて何がすごい? Sparse Parametric Encoding Sparse Parametric Encoding - Parametric Encodingは精度は良いが，効率性や汎用性では悪い部分もある - Sparse Parametric Encodingは，Sparseなデータ構造を用いることで，シーン中の物体が 存在しない領域をスキップし，効率を良くする → 提案手法はSparse Parametric Encoding Neural Sparse Voxel Fields 7

• https://lingjie0206.github.io/papers/NSVF/

技術の手法や肝は? Multiresolution Hash Encoding (1) https://nvlabs.github.io/instant-ngp/ 8

• https://nvlabs.github.io/instant-ngp/

技術の手法や肝は? Multiresolution Hash Encoding (2) https://nvlabs.github.io/instant-ngp/ 9

• https://nvlabs.github.io/instant-ngp/

技術の手法や肝は? Multiresolution Hash Encoding (3) https://nvlabs.github.io/instant-ngp/ 10

• https://nvlabs.github.io/instant-ngp/

技術の手法や肝は? Spatial hash function - NeRFでは3次元なので，d = 3 - ハッシュの衝突はボクセルの数に対して十分小さく，無視できる 11

どうやって有効だと検証した? 評価 12

どうやって有効だと検証した? 詳細な評価 https://nvlabs.github.io/instant-ngp/ 13

• https://nvlabs.github.io/instant-ngp/