XR Kaigi 2025「3DGS＆フォトグラメトリ 前川國男邸事例とXGRIDS TIPS」

3DGS＆フォトグラメトリ 前川國男邸事例 と XGRIDS TIPS 龍 lilea / ホロラボ

自己紹介 SNS OK OK 株式会社 ホロラボ 藤原 龍 Ryo FUJIWARA 龍 lilea X@lileaLab ⚫ 前職 2010年～ 鹿島建設Grアルモ設計 建築ビジュアライゼーション(CGパース/動画/AR/VR) 現職 2019年～ ホロラボ 空間情報技術(SIAR)チーム ⚫ 趣味/仕事 実空間を3Dデジタルアーカイブしてあれこれ活用 (フォトグラメトリ/3DGS/レーザースキャン) ↓最近の趣味,検証系スキャン 7月 広島 原爆ドーム 8月 北海道 青い池 8月 兵庫 城崎温泉 9月 せきぐちあいみさん 9月 山口 瑠璃光寺 9月 山口 雪舟庭 10月 大阪 玉手橋 11月 サウジアラビア 2

自己紹介 仕事で出張すると、趣味でその近場のスポットを3Dデジタルアーカイブしがちな人。 バーレーン 真珠の道 仕事 サウジアラビア ディルイーヤ 趣味 フォトグラメトリ足運び、カニ歩きを伝授。 世界遺産『ディルイーヤ』や『マスマク宮殿』を3DGS撮影。 ※撮影業務だけでなく講習やワークショップも ちょいちょいご依頼いただいてたりします 人が捌けた！今がチャンス！撮影しよう！ →夢中になっててメンバーとはぐれる… (初めての海外出張で独りになるピンチ！) 3

自己紹介 このセッションはー ⚫ 写真撮影 OK！ ⚫ SNS投稿 OK！ ⚫ このスライドはこのセッション終了時にすぐ公開します！ ⚫ フォトグラメトリや3DGSの基礎については話さないよ！中級編 4

https://www.figma.com/board/ZsY2EYTQPISDt1uenpYA13 つくったもの 2019年 初の広域フォト グラメトリ作品 個人の 旧都城市民会館 VRAA Meetup会場 事例集はこちら→ エンジンルームVR 仕事の 中銀カプセルタワービル 東京メトロ 車両 ビーナスフォート 二条城 唐門 博物館動物園駅 デジタル上野の杜 沖本家住宅 サントリーホール 国立科学博物館 東京メトロ 模擬駅 3Dデジタルアーカイブ なお仕事も かれこれ6年に 江戸東京たてもの園 子宝湯 江戸東京たてもの園 前川邸 5

• https://www.figma.com/board/ZsY2EYTQPISDt1uenpYA13

お品書き 江戸東京たてもの園「前川國男邸」3Dデジタルアーカイブ メイキング紹介 XGRIDSスキャナー LixelシリーズとPortalCam 特徴とスキャンTIPS 360度カメラを用いた新ワークフロー 6

前川國男邸3Dデジタルアーカイブ 江戸東京たてもの園「前川國男邸」 3Dデジタルアーカイブ メイキング紹介 7

前川國男邸3Dデジタルアーカイブ 江戸東京たてもの園「たてもの園フェスティバル」にて展示 VRコンテンツ (STYLY) 裸眼立体視ディスプレイコンテンツ (ソニー ELF-SR2) ※本コンテンツは、東京都と公益財団法人東京都歴史文化財団による 「TOKYOスマート・カルチャー・プロジェクト」の一環として企画制作されました 8

前川國男邸3Dデジタルアーカイブ ソニー 裸眼立体視ディスプレイ 「ELF-SR2」コンテンツ作成事例 9

前川國男邸3DDA ELF-SR2 事例 裸眼立体視ディスプレイ デジタル模型！ ⚫ 模型の良さ • • 自由な位置から自由に見れる 模型はみんな大好き (偏見) ⚫ デジタルの良さ • • • リアルタイム処理 インタラクティブ性 →断面表示 https://youtu.be/BPLgl6-oWQ8 10

• https://youtu.be/BPLgl6-oWQ8

前川國男邸3DDA ELF-SR2 事例 フォトグラメトリとガウシアンスプラッティングの併用！ フォトグラメトリ ⚫ 鮮明なテクスチャ ⚫ 断面処理時のエッジの自然さ それぞれのいいとこどり！ ガウシアンスプラッティング ⚫ 自然な植栽の表現 ⚫ 遠景も再現できる 11

前川國男邸3DDA ELF-SR2 事例 3DGSの編集にはUnity Gaussian Splattingが便利 ノイズ除去作業を終えた後に、 3DGSを生成しなおした場合、 ノイズ除去も再度やるのは大変… しかしUnityGaussianSplattingなら 参照3DGSデータを差し替えるだけで 除去内容が再適応できる。 編集結果は.plyにも書き出せ る。 3DGS編集ツールとして便利。 使い方こちらにまとめました https://youtu.be/eTCjxIebMSo https://lilea.net/lab/how-touse-unitygaussiansplatting/ 12

• https://youtu.be/eTCjxIebMSo
• https://lilea.net/lab/how-to-use-unitygaussiansplatting/

前川國男邸3DDA ELF-SR2 事例 TIPS：ELF-SR“1”で3DGSコンテンツを開発したい場合は？ 「Unity Gaussian Splatting」はDX12で使う必要がある。 ELF-SR2はアップデートによりDX12に対応したが、SR-1は未対応。 3DGSが表示できない。 そこで「VRChat Gaussian Splatting」を利用！ こちらはDX11でも3DGS描画ができる！ またはVoxelKeiさんの「Spatialograph Maker」を利用！ どちらもVRChatでの使用を想定して開発されたものだが、 実はVRChat以外でも使える神ツール。 (EFL-SR1に限らず色々使えちゃう) 13

前川國男邸3DDA ELF-SR2 事例 TIPS：clusterに3DGSをアップロード！ clusterにも3DGSを持ち込めちゃうのです！ ※ただしWindowsプラットフォームに限る 使い方はブログにまとめてみました。 https://lilea.net/lab/how-to-use-vrchat-gaussian-splatting-beyond/ 14

• https://lilea.net/lab/how-to-use-vrchat-gaussian-splatting-beyond/

前川國男邸3DDA メタバースプラットフォーム 「STYLY」コンテンツ作成事例 15

前川國男邸3DDA STYLY 事例 会場では学芸員さんの解説つきで体験！ ⚫ 現地では公開していないエリア、2Fの寝室もご案内！ ⚫ 現地では近寄って見れない天井や屋根周りも間近に近寄って解説が可能！ 未公開エリア 立ち入り禁止エリア 現地では見られないアングル デジタルならでは活用！ ・危険性のあるエリア (手摺の低い階段) → VRなら安全に体験できる ・破損等のリスク許容できない展示物 → VRなら破損リスクがない 16

前川國男邸3DDA STYLY 事例 会場では学芸員さんの解説つきで体験！ ⚫ 現地では開閉できない大扉を閉じた状態も体験可能！ 通常の状態 普段は見ることの出来ない扉の閉じた状態 デジタルならでは活用！ ・学芸員等同席でないと体験できない → VRなら体験できる 17

前川國男邸3DDA Scaniverse活用 Scaniverseも活用！ 空間内に置かれている重要なわけではない小物たち。 黒電話 / トースター / ドアノブ etc. 空間全体が綺麗に生成できても、小物類を疎かにするとそれらの破綻により体験の質が下がってしまう。 じゃあ、 ⚫ 全てを詳細にフォトグラメトリ撮影していくか？ ⚫ 全てを丁寧にモデル修正するか？ それも高コスト… そこでScaniverse！ 18

前川國男邸3DDA Scaniverse活用 Scaniverseも活用！ ミラーレスカメラだと、トースターの裏や蛇口の下などカメラのボディが大きくてそもそも撮れない 薄く小さなiPhoneなら撮れる！ 金属部分も極端な破綻はなく生成できた スキャン時間も数分 19

前川國男邸3Dデジタルアーカイブ XRもいいがもちろんリアルに体験いただきたい…！ 「江戸東京たてもの園」は小金井公園内というとても気持ちの良い空間にステキ建物がたくさん並んでいて。ぜひ来園くださいな！ 江戸東京たてもの園 東京都小金井市桜町3-7-1 (都立小金井公園内) https://www.tatemonoen.jp/ 20

• https://www.tatemonoen.jp/

前川國男邸3Dデジタルアーカイブ 前年度は「子宝湯」もフォトグラメトリしました！ もっと具体的なフォトグラメトリのテクニックも知りたいという方、 去年の「Unreal Fest 2024 Tokyo」で同じ江戸東京たてもの園内の「子宝湯」のメイキングについてお話しました。 Meta Bath デジタルで見る子宝湯 RealityCaptureメイキング紹介 https://www.docswell.com/s/EpicGamesJapan/KYDM93-UE_UF24T_HOLOLAB スライドはたっぷり97ページ！ 21

• https://www.docswell.com/s/EpicGamesJapan/KYDM93-UE_UF24T_HOLOLAB

XGRIDS スキャン事例・スキャンTIPS 22

XGRIDS XGRIDSって？ 手に持って歩きながらスキャンしていくハンドヘルド型レーザースキャナー。 Apple、Google、DJIに所属していたメンバー等が開発しているそう。 https://youtu.be/Fe--kkTkXoo 誰でも手軽に綺麗な3DGSが生成できる魔法のデバイス！ …と言いたいところだけどやはり色々コツも必要なのでその辺りの話をします。 ※XGRIDSを検討してるわけではない人にとってもフォトグラメトリや3DGS撮影において 共通の考え方があるので参考になったらなと 23

• https://youtu.be/Fe--kkTkXoo

XGRIDS 機材と手法による比較 先日のホロラボカンファレンス2025では各XGRIDSスキャナと各手法の比較について解説しました。 詳しくはそちらのアーカイブも参照ください。 ⚫ 品質、コスト、スピード、制作さ等での比較 の話 詳しくは↓こちらでお話しました ⚫ 制作工数の比較 の話 フォトグラメトリ vs 3DGS https://www.docswell.com/s/HoloLab/ZX6VVN-holoconf25_b2 今回は比較の話ではなく、スキャンTIPSの話！ 24

• https://www.docswell.com/s/HoloLab/ZX6VVN-holoconf25_b2

XGRIDS 3DGS生成の特性 スキャン失敗例 なぜ穴が空いた…？ XGRIDSのスキャナーは 初期点群の位置からのみSplatを生成する という仕様のため。 しかしこれはとても合理的！ ◆ 一般的な3DGS ◆ XGRIDSの3DGS 写真の特徴点をベースにSplatを生成 スキャン点群をベースにSplatを生成 ↓ 正確な特徴点検出、正確なデプス計算が できないと、空中にもSplatが発生し フローターノイズとなる。 狭い通路部分で床に穴が空いてしまった ↓ 空中に点群が生成される事は基本的には 無いので、フローターノイズを防げる。 そうした仕様のため、点群が取得されてい ない場所はSplatが生成されず穴が開く。 レーザーの照射方向、点群密度を意識する事が重要！！ 25

XGRIDS 3DGS生成の特性 各機材のレーザー照射方向を意識する事が重要！ Lixel L2 Pro Lixel K1 PortalCam 直下以外270度 上方60度 ※ただし前方下方へ15度傾ける 前方180度 70m 照射距離 120m / 300m 往復推奨 60m 往復必須 26

XGRIDS スキャンTIPS① 具体的な例を元にTIPS紹介 某 君の名前を思い出したいアニメ のあの場所をスキャンしてみました！ 後ほどワールドURL公開します！ 使用機材：LixelKity K1 階段スキャンTIPS 階段は登りは良いが下りは注意が必要。 真っ直ぐ下るとK1やPortalCamでは十分な点群が 得られない。 階段にレーザー が当たらない 29

XGRIDS スキャンTIPS① 階段スキャンTIPS ※特にK1やPortalCamの場合 ⚫ 階段をまっすぐ下がる ✕ 階段がスキャンできない。 ⚫ 階段をまっすぐ上がる 〇 地面がしっかりスキャンできる。 ただしこれだけだと 死角が生まれる場合も。 ⚫ 階段を横向きで上がる/下がる 〇 階段の左右で横向きに進む事で、 死角もなくスキャンできる。 30

XGRIDS スキャンTIPS② 具体的な例を元にTIPS紹介 某 左手は添えるだけのアニメ のあの場所をスキャンしてみました！ 後ほどワールドURL公開します！ 使用機材：LixelKity K1 立ち止まっている人や駐車車両の除去TIPS XGRIDSの3DGS処理は、 動いているものは消えてくれるが、 止まっているものは残ってしまう。 しかし一度スキャンを始めたら一時停止は出来ない。 31

XGRIDS スキャンTIPS② 立ち止まっている人や駐車車両の除去TIPS 人や車を避けて一旦はそのままスキャンしながら通過 ※スキャン中は一時停止できないため 人や車がいなくなったタイミングで戻ってきて、満遍なく上書きスキャンする！ 「動いたもの」と認識されて消えてくれる。 通行量の多い道でも何往復かスキャンする事で綺麗な3DGSシーンを作れる。 32

XGRIDS スキャンTIPS③ 具体的な例を元にTIPS紹介 せきぐちあいみさん をスキャンしました！ 後ほどワールドURL公開します！ 使用機材：PortalCam 人物のスキャンTIPS 人は完全な静止状態となるのは困難。 (ではあるが、せきぐちあいみさんは静止もプロ) 暫定対策方法 背中側からスキャンを開始して背中側で終了する。 スタート時とゴール時が正面になると、 その時間の差により顔などにずれが発生してしまう。 背中側でずれが発生するのは許容して、顔は綺麗に撮る。 33

XGRIDS スキャンTIPS③ 人物のスキャンTIPS ⚫ 背中側から開始して背中側で終了 △ ⚫ ループクローズでなく上下運動 △ △ ループは何度も正面を スキャンする事になり ずれが目立つリスクあり 〇 〇 〇 顔側でずれが 発生するのを回避 (背中側で発生するずれは許容) 34

XGRIDS スキャンTIPS④ 具体的な例を元にTIPS紹介 絶滅メディア博物館 をスキャンしました！ 後ほどワールドURL公開します！ 使用機材：PortalCam 細部のスキャンTIPS 細部だけと撮り続けると、誤差が嵩みずれるリスク。 一部を寄ってスキャンしたら、 一旦全体が見える位置へ引く。 その後改めて次のエリアに寄って行く。 迷子にならないようにわかりやすく動かしてあげる。 35

XGRIDS スキャンTIPS④ 細部のスキャンTIPS 一部を寄ってスキャンしたら、 一旦全体が見える位置へ引く。 これを繰り返していく。 △ 〇 スキャナーが迷子にならないよ う、 今どこにいるのかをわかりやすく 動かしてあげる。 36

XGRIDS 開発事例 37

XGRIDSデータの活用例 XGRIDSはUnity/UE/Web用のSDK(開発者向けツール)も公開されている。 ⚫ 視錐台カリングやLoDも実装されている！ 1000万Splatを超えるような重いデータでも軽快に表示できる ⚫ 独自のソフトウェアを自由に作れる！ こんな事ができたらな、を実現できる 38

XGRIDSデータの活用例 独自に3DGSビューワー作ってみた。(仮称)『LCC 3D Photo Viewer』 XGRIDSの LCCデータ読み込み ↓ 3DGSで空間把握 ＋ 元写真(2D)で細部確認 破綻のない処理元の写真を 参照するというのも大事。 検査等で有用だったりする？ ※PortalCamでは写真データは取り出せ ずこれは実現できないので注意 これが出来るのは現状ではLixelシリーズ のPremiumプランのデータに限る https://youtu.be/vVYPA7slO4o 39

• https://youtu.be/vVYPA7slO4o

360度カメラを用いた 3DGS＆フォトグラメトリ 最新ワークフロー 40

360度カメラ新ワークフロー Metashape ベータ版 2.3 で360度カメラのフィッシュアイ画像に対応！ それの何が嬉しいのか？ エクイレクタングラー： 2つのレンズのスティッチング処理部分は光学的に正しくない デュアルフィッシュアイ： スティッチング処理される前のデータなので上記の様なずれは無い 41

360度カメラ新ワークフロー Insta360もOsmo360も元ファイルの中身はフィッシュアイ動画 ⚫ Insta360の場合 VID_20251203_123556_00_001.insv ⚫ Osmo360の場合 CAM_20251203123456_0001_D_A001.osv 上記の動画の中身は2つのレンズの映像が両方含まれたデュアルフィッシュアイの状態 ffmpegを使えばデュアルフィッシュアイ動画から切り出せる ffmpeg -i input.osv -map 0:v:0 -an -c copy -y output_0.mp4 前 ffmpeg -i input.osv -map 0:v:1 -an -c copy -y output_1.mp4 後 前後 42

360度カメラ新ワークフロー フィッシュアイ動画3DGSワークフロー ピンホールカメラモデル変換によって 画像の上下左右はトリミングされる事に なる点は注意 43

360度カメラ新ワークフロー 前と後のレンズはオーバーラップ0%な点には注意。 そのままだとアライメント出来ない場合が多い。 なので前後用と左右用と2台で同時撮影。 ※まだ検証中の仮のリグ アライメント出来た。 44

360度カメラ新ワークフロー 少し品質向上できた。 エクイレクタングラー → 8方向分割 しかしこのシーンでは8分割版も悪くない結果だったので 劇的に差が出たわけではなかった。 フィッシュアイ そもそもオーバーラップ不足からアライメントで失敗する場合もある。 アライメント処理も結構時間かかる。 というわけで現時点では「360度処理の選択肢が増えた」くらいの気持ち。 引き続き検証…！ 45

おわり ちなみXGRIDSの各スキャナーはホロラボから買えちゃったりします！ わたくしがサポート！(…と言いつつ私自身まだまだ日々検証中) この6年で培った広域大規模3Dデジタルアーカイブのノウハウなどご提供 XGRIDSデータを活用した開発の方もお気軽にご相談くださいな。 事例で紹介した3DGSワールドを本日公開しました！ ⚫ 君の〇は のあの場所 PCVR用 ⚫ スラムダ〇ク のあの場所 PC/スマホ/VisionPro用 ⚫ せきぐちあいみさん ※準備中 ⚫ 絶滅メディア博物館 https://lilea.net/lab/xr-kaigi-2025/ このスライドは→ こちらで公開しました https://www.docswell.com/s/lileaLab/ZN96QL-251203 46

• https://lilea.net/lab/xr-kaigi-2025/
• https://www.docswell.com/s/lileaLab/ZN96QL-251203