大規模点群でVRChatワールドを作る

11.9K Views

October 26, 22

スライド概要

独自に開発したコンバータによるVRChatでの大規模点群の使用（「デジタル上野の杜」( <a target="_blank" href="https://dt.geidai.ac.jp/?p=827">https://dt.geidai.ac.jp/?p=827</a> )のために開発）について解説します。ランタイムのC#によるスクリプトが使えないなどの限定された条件の中で、LODや空間分割などを実現し、描画負荷低減とデータ圧縮を行い、1億点近い点群をリアルタイムで描画できます。また、点群の取得、処理についてのノウハウを紹介します。

こんな人におすすめ:
・点群表示で困っている方
・レーザースキャナーなどで取得した点群を活用したい方
・大規模点群をC#スクリプトが使えないソーシャルVRに持ち込みたい方

受講者が得られる知見:
・ランタイムスクリプトなしで大規模点群を描画する負荷軽減方法
・大規模点群をVRChatで使用する手法
・大規模点群の処理ノウハウ

出演:
於保俊 (株式会社ホロラボ)

--
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/

Unity Technologies Japan

@UnityJapan

スライド一覧

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.56MB)

関連スライド

各ページのテキスト

大規模点群で VRChatワールドを作る株式会社ホロラボ於保俊

自己紹介於保俊 (おほすぐる) @ohomagic 株式会社ホロラボソフトウェアエンジニア測量会社→スマホゲーム会社→ホロラボ Unity、XR、Web系、地理情報など広くそこそこ深くな雑食系エンジニア

https://twitter.com/ohomagic

会社概要株式会社ホロラボ事業内容 Windows Mixed Reality他、xR技術やセンサー技術に関する・調査研究・システム／アプリケーションの企画開発・普及啓発活動設立 2017/1/18 住所東京都品川区西五反田 2-25-1 インテックス五反田ビル 3F 資本金 93,940,000円 (2019/8増資) 3 取締役 5名従業員 51名 Web https://hololab.co.jp/

https://hololab.co.jp/

目標：1億点くらいの点群をVRChatで表示する条件 • • • • • スマホでも動く描画負荷データ容量もなるべく少なく「自前のスクリプト」が動かないジオメトリシェーダーが使えない自前のスクリプトが動かないのが一番制限としてきつい...

点群描画：先行事例 https://github.com/keijiro/Pcx 点群大量描画の負荷が課題ソーシャルVRに点群を持ち込みたいソーシャルVRに点群を持ち込みたい[2] モバイル対応編クワマイさんの事例テクスチャ画像としてデータを持つ点群大量描画の負荷が課題 BA_PointCloud 大規模点群の描画に対応しているが、実行時に独自スクリプトが必要今回は最初に対象外としたが、通常のUnityプロジェクトではお勧め

自分で何とかしよう！ベースをクワマイさんのテクスチャに座標情報を格納する仕組みの点群描画として、これをチューニング（魔改造）する点群データ座標値テクスチャ＆色テクスチャ頂点シェーダーテンプレートメッシュ座標値テクスチャの座標にしたがってテンプレートメッシュの頂点を移動し、カラーテクスチャから色情報を与えるフラグメントシェーダー点を描画

分割と圧縮

なぜ分割するか？視錘台カリング、LODが有効になるように空間分割するその過程で、データを圧縮する

点群の階層空間分割とデータ圧縮 5m、10m、20mそれぞれの立方体のブロックで全体を分割各分割レベルで重複が出ないように点を配分 →LODで遠景もうまく見えるようにブロック内の点の座標をXYZそれぞれを1byteの整数であらわす 5mのときは2㎝くらいの誤差許容範囲と判断

10.

色の圧縮=パレット化ブロック内の色の分布をプロット →ブロック内は近い色（右図）パレット化してパレットは全体で集約パレット化することで RGB3Byte→1Byte＋パレットテクスチャ

11.

1点あたりのデータサイズ結果、テクスチャのR,G,B,Aを X,Y,Z,パレット番号として扱う XYZ 4Byte×3 + RGB 1Byte×3 = 15Byte だったのが、 XYZ 1Byte×3 + RGB 1Byte = 4Byte 約1/3の大きさのデータサイズにできた！（※不可逆の変換にはなります）

12.

テンプレートメッシュの工夫

13.

Boundsを正しく設定するメッシュ参考にしたクワマイさんの例だと、三角形を並べていた →MeshのBoundsが適切に設定されない=視錘台カリングが× ちょうど5mの立方体に収まるように、点のもとになるテンプレートメッシュを作成結果として棒が並んだだけのメッシュになった Boundをスクリプトで設定しなくていい

14.

ドローコール削減のため集約

15.

ドローコール削減のための集約分割したことで、マテリアル・オブジェクト数が莫大に →ドローコールが爆発→高負荷近いブロックを集約してマテリアルを共通化、テクスチャもアトラス化 →バッチングとGPUインスタンシングでドローコール削減と負荷低減

16.

データの局在化とアトラス化位置的に近いところの区画のテクスチャをまとめるテクスチャ数で空間を等分し規定の数に収まるところでアトラス化する

17.

オフセットテクスチャでマテリアルをまとめるテンプレートメッシュの位置から、オフセットテクスチャを介して、点群テクスチャとパレットテクスチャの何番目を使うかを決定 →同じマテリアルでもブロックごとに違う描画オフセットテクスチャのRGBから座標・色テクスチャの位置、パレットテクスチャの位置を指定座標情報からブロックのインデックス値計算 →オフセットテクスチャの位置を指定点座標・色テクスチャ配置されたテンプレートメッシュオフセットテクスチャパレットテクスチャ

18.

ワールドの構築

19.

エディタ拡張でデータから構築コンバーターはテクスチャとテキストファイルを書き出すマテリアルの構築＝適切なテクスチャを持つマテリアルを自動生成メッシュの配置＝適切な場所にテンプレートメッシュを配置 LODの設定＝LODコンポーネントを自動的に全メッシュに設定 LODの設定テンプレートメッシュの配置マテリアルの構築

20.

足場用メッシュコライダー作成点群からメッシュ化したものをベースに、NavMeshを生成そのNavMeshをOBJに書き出し多少加工することで、コライダー用メッシュを作成 →実際に歩ける範囲を比較的低コストで作成できた点群からメッシュ化 NavMesh作成→OBJ化加工してコライダー用メッシュに

21.

VRChatワールドへ！デジタル上野の杜プロジェクトWebから動画引用 https://dt.geidai.ac.jp/?p=827