「360度動画によるフォトグラメトリ - 処理編」3Dスキャン何でもLT会

360度動画によるフォトグラメトリ 処理編 龍 lilea / ホロラボ

自己紹介 主要作品  藤原 龍 Ryo Fujiwara - 龍 lilea X@lileaLab  ホロラボ - 先進技術グループ - SIARチーム (空間情報技術部)  趣味､仕事で実空間をフォトグラメトリやレーザースキャンで3Dデジタルアーカイブしてる人 東京メトロ 電車/駅/橋梁 VRAA Meetup会場 エンジンルームVR 旧都城市民会館 熱海土石流 可視化 FLOWER4U 中銀カプセルタワービル 博物館動物園駅 子宝湯 2

作ったVRChatワールド  私のアカウントで公開しているもの  お仕事で制作担当したもの 東京芸術大学様ご依頼 京成電鉄 旧博物館動物園駅VR デジタル上野の杜 中銀カプセルタワービル 旧都城市民会館 エンジンルームVR 3

360度動画からのフォトグラメトリ処理のお話 普段は高価なレーザースキャナも併用してガチなフォトグラメトリをやってる人ですが 今日は360度カメラで撮影した動画から生成する、手軽に実施できるお話！ ちなみ｢京都VR｣はInsta360 ONE RS 1-inchで撮影した動画から生成したワールドです。 清水寺の参道、産寧坂・二年坂・八坂通の600mほどの工程をフォトグラメトリ。 4

撮影編＋処理編  360度動画 撮影編 どうやって撮影したのか？に関しては東京大学豊田啓介研究所主催で開催された ｢3Dスキャン勉強会｣でお話したのでそちらの資料も参考にどうぞ。  360度動画 処理編 今日はこちらの話！ 5

データの状況 こんな感じにフォルダには大量のデータが。 どこで何があったか、どちらに向かって歩いたかもメモ。 進行方向についてもフォトグラメトリ処理場は大事なので (後述) 問題はこれだけ大量のデータをいかに効率的にかつ有効なデータとしてフォトグラメトリ処理するか。 色々検討してみた 6

ツール一覧 エクイレクタングラー状態の360度動画をどうやってフォトグラメトリのソフトで処理するか？ それぞれの特徴と、 黄色文字の部分の使い方はブログで解説してます。 無料利用可 Metashape 有料のみ コマンドラインのみ ◯ GUI ◯ 3DF Zephyr ◯ ◯ FFmpeg ◯ ◯ Meshroom ◯ ◯ 360-to-planer-images ◯ ◯ Unity Recorder ◯ ◯ DaVinci Resolve ◯ ◯ Premiere Pro ◯ ◯ PTGui ◯ ◯ 私が利用しているのは FFmpeg 。その検証結果やメリットをご紹介↓ 7

FFmpegいいぞ コマンドラインは人によってはハードルが感じるかもしれないけれど 便利さを知ったらチャレンジしてみたくなるかも！？  画角の指定ができる  書き出す方向の指定ができる  FPS指定が細かくできる  色調整ができる  書き出す画像のファイル名の指定ができる  動画を逆再生で書き出しできる  これらを一括処理できる では｢京都VR｣ではそれぞれどうしたか？ 8

FFmpegいいぞ  画角の指定ができる 90度に設定。 もっと広角にすればオーバーラップを稼げるが、 広げすぎると画像の端が引き伸ばされ大幅に解像が下がってしまう。 切り出す方向を増やす事でも問題なくアライメントは出来たので、 画角の方を大幅に広げる必要はなかった。 9

FFmpegいいぞ  書き出す方向の指定ができる 8方向分を設定。 前後左右の4方向分のみだとまれにアライメント出来ない 場合があったので、8方向を採用した。 高い建物がある等して上部も画角にいれたい場合は そのアングルを追加することも可能。 左の例では前後左右で煽り方向20度を追加した。 10

FFmpegいいぞ  FPSの指定ができる  色調調整ができる ソフトによってはFPSが1以下が指定出来なかったり小数点以下の設定が できないが、FFmpegは細かく設定できる。 動画はLogで撮影しておりそのままだとコントラスト低い状態なので ここで調整してしまう事も可能。 ただし調整結果は一度書き出して見ないとわからないので微調整には不向き。 細かく調整したい場合はFFmpegで書き出した画像に対して Adobe Camera Rawで一括調整するのが便利。 11

FFmpegいいぞ  書き出す画像のファイル名の指定ができる ファイル名でソートした時に、各方向に切り出した画像がまとまるような命名ルールを設定。 フォトグラメトリは(設定にもよるが)画像を順番にマッチングさせていく。そのためファイル名の付け方も実は重要。 空間的に連続した並びになるように名前をつける。 画像の並びがバラバラになる名前だとアライメントエラーのリスクあり。 12

FFmpegいいぞ  動画を逆再生で書き出しできる ある道を往復で撮影していた場合、そのまま書き出すと往路のファイルと復路のファイルをソートした時に空間 的に連続してないごちゃまぜの状態になってしまう。 これを防ぐため復路の動画は逆再生させて書き出す。 これによって往路も復路も同じ方向に向かってファイル名が昇順で並ぶ状態にできる。 往路 順再生 復路 順再生 これだとソート時にファイルが バラバラに並んでしまう 往路 順再生 復路 逆再生 復路を逆再生にする事でファイル の並びが空間の連続性と一致する 13

FFmpegいいぞ というわけでFFmpeg便利よ！  画角の指定ができる  書き出す方向の指定ができる  FPS指定が細かくできる  色調整ができる  書き出す画像のファイル名の指定ができる  動画を逆再生で書き出しできる  これらを一括処理できる 14

おまけ 時短テクニック 8方向でFPS2で書き出すとファイルも膨大になって処理負荷高くなって大変。 アライメントさえ出来てしまえばメッシュ化とテクスチャ生成ではこんなにいらない。 間引こう！ 2つに1つを無効に 8方向のうち4方向を無効に 15

おまけ 時短テクニック 間引くスクリプトはChatGPTさんが作ってくれる。 RealityCaptureのImageListファイルを編集するスクリプト。 コードが書けなくてもスクリプト作れる時代。 便利すぎだった。 16

おわり 紹介した記事等のリンク集  今日のこのスライド  制作したワールド一覧  360度動画 撮影編 スライド  “旧博物館動物園駅VR”ワールド  360度動画 処理編 ブログ  “デジタル上野の杜”ワールド 龍 lilea 17