バーチャルプロダクションシステムを自作する【UNREAL FEST EXTREME 2021 WINTER】

バーチャルプロダクション システムを自作する BACKSPACE Productions Inc 比嘉 了

自己紹介 BACKSPACE Productions Inc 比嘉 了 ヴィジュアルアーティスト・プログラマ https://backspace.tokyo/ @satoruhiga

今日話すこと - 事例紹介 バーチャルプロダクションシステム制作において大切なこと AR/XR表現のキモとなるレンズキャリブレーションの方法 システム設計のアイディア AR/XR/バーチャルプロダクション技術を使っての制作を始めた い人向け UE4自体の情報は少なめになります！！！ (すみません！💦)

事例

NHKスペシャル 「2030 未来への分岐点」 - 荒廃した未来の渋谷の町並 みのバーチャル背景 - PreViz https://www.nhk.jp/p/special/ts/2NY2QQLPM3/episode/te/28VK 5K6J99/ より リアルタイムでない、後処理前 提の関わり方

きっかけ 2019年冬、株式会社 HIP LAND MUSIC・株式 会社 SEP・弊社の3社共同でXR配信システムの R&Dプロジェクト - 新しいデバイスの導入を検討 - 光学式モーションキャプチャカメラ - stYpe RedSpy → カメラトラッカーは使ったことがなかったの で、RedSpyを購入

コアコンセプト 物理的な空間にCGの空間をどれだけ寄せられるか - CGの空間のほうが自由度が高い - CGの空間のを動かすほうが予算がかからない → CGのカメラや空間のパラメーターを調整して物理空間に寄せ ていく

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

レンズキャリブレーション

物理カメラをCGカメラで近似する 物理カメラ - イメージセンサーによって 物理的に制約される - レンズ内で光学的な変換が 行われる - カメラ原点はレンズの中ほ ど、正像と鏡像がいれかわ る位置(右図の主点)にある https://www.toshiba-teli.co.jp/technology/technical/t0012RayDiagram.htm より

ポジショントラッカー → CGカメラの座 標系変換

ポジショントラッカー → CGカメラの座 標系変換 ポジショントラッカーの位置情報を、物理レンズ内の主点に変換 する必要がある 主点 → CGカメラの位置 = ポジショントラッカーの位置 + イメージセンサーまでのオフセット + Nodal Offset

+ + = ポジショントラッカー → CGカメラの座標系変換

イメージセンサーの位置 カメラによっては撮像面マークがある ない場合は、フランジバック (=レンズマウント のマウント面からイメージセンサーまでの距離を 表す数値) を使う https://photomilk.net/2019/ 04/flangeback/ より

Nodal Offset ややこしい。CGカメラの FOVとNodal Offsetの2つの パラメーターを手動で調整し ながら追い込んでいくしかな い。 UE4のCamera Calibration プラグインではチェックボー ドでキャリブレーションでき る？

FOV, Nodal Offsetの調整 基準となるターゲットを複数個配置する - 原点、カメラ正面の一直線上に置く - ターゲットの位置を実測する - 原点はカメラ真下にした方がいい時も 配置、実測の精度を上げるには - レーザー墨出し器 - レーザー距離計

画面端ではレンズ歪みが発生する → CGのレンダリング結果にレンズ歪みを加えて調整する 最終的にはカメラを動かしてみて、自分がOKと思えばOK → どうしても実測精度には限界がある 課題: 定量的な評価、キャリブレーション自動化の方法を考えた い

ズームレンズ ズームレベルを取得するデバイス - Vanishing Point VIPER Indiemark lens encoder Zhiyun Crane 2のフォーカスモーターをハックする ポテンションメーター、ロータリーエンコーダー等で自作す る → レンズの回転がとれればどれでもOK

ズームレンズ ズームレンズの場合、画角、主点の位置がズームレベルによって 変化する → 5-10程度の点でそれぞれ画角、Nodal Offsetのレンズキャリ ブレーション → 変換テーブルを作って線形補間する ズームレンズは難しいので、まずは単焦点レンズから

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

ライティング、コンポジット IBLで環境光をとりこむ 黒レベルをとる、エッジブレ ンディングなどをしてCGと実 写映像をなじませる など実写 合成のテクニックも有効

DMXライトとの連動

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

ディレイ調整 入力ごとに固有のレイテンシがある - カメラ、キャプチャボード - ポジショントラッカー - レンズデータ - DMX 一番レイテンシのあるものにあわせて他を遅らせていく

システム概要 TouchDesigner - 扱い慣れている IOの豊富さ タイミング調整が容易 コントローラー的な使い方 Unreal Engine 4 - よりリアルな質感 - 綺麗なポストプロセス - DoF - リフレクション - Convolution Bloom - Sequencer - 豊富なアセット → いい所どりできるようにしたい

システム概要

システム概要 - CGカメラの座標系変換を事前に行う - UE4側ではレンズキャリブレーションを気にしない - Spoutのプラグインを自作 - CPUコピーをなくした版 - https://github.com/backspacetokyo/UE4-Spout2 - UE4内ではSceneCapture2Dで撮影したテクスチャをSpoutで送り返 す - モジューラブルなシステム設計が調子がいい このシステムをベースに要件によって拡張している

レコーディングデータの活用 事前にレコーディングしたデータを 使ってシーン制作 → 本番環境でなくてもある程度作れ るようになる → ARのシステム回りとコンテンツ の作り込みを分離できる

マルチデバイス ポジショントラッカーが変更 になっても大部分は同じ仕組 みで対応できる

IP Workflow NDIのフレームにカメ ラデータをメタデータ として重畳 - PCを分けれる - 映像とカメラデータ がずれない - スケールしやすい - 3-5F程度のディレイ

PreViz → ポスプロ対応 レンダリングは別PC - 撮影時にもシーンを 編集できる - レコーダー安定性の 向上 レコーディングした素材を ポスプロ用に書き出し - カメラFBX - exr連番

システム自作のメリット/デメリット メリット - 最新のUnreal Engineが使える - 金銭的なコストが安い - 要件に応じて細かくカスタマイズできる - チャレンジングなことができる デメリット - 時間的なコストが高い

バーチャルプロダクションシステム自作 まとめ - 低コスト、アイディア次第で色々なことができる - レンズキャリブレーシヨンが鬼門 - やり方を覚えてしまえばどの環境でも同様なことができる - レコーディングできる環境は絶対にあったほうがいい - モジューラブルな設計 - モジュールの組み合わせでフレキシブルに運用できる - モジュール間の通信にはオープンなフォーマットを使う - パフォーマンス的に可能であればIP通信を使えるとさらに広がりが ある

ありがとうございました！！！