Reality Capture / Reality Scan ではじめる フォトグラメトリ | EGC2024 (Syuya Mukai)
62.2K Views
April 30, 24
スライド概要
EGC2024 Reality Scan ではじめる フォトグラメトリ の講演資料です。
・Reality Capture 、Reality Scan 、フォトグラメトリとは？
・フォトグラメトリのコツ
・Reality Capture / Reality Scan の使い方
などをご紹介します。
Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/
関連スライド
各ページのテキスト
Reality Capture Reality Scan ではじめる フォトグラメトリ Epic Games Japan Solution Architect 向井 秀哉
自己紹介 エピック ゲームズ ジャパン Solution Architect 向井 秀哉 (Syuya Mukai) • 映像制作やVRなどの コンテンツ制作に携わった後に エピック ゲームズ ジャパンに入社 • 自動車、映像、建築などのノンゲーム分野での 技術的な説明や提案が主なお仕事 X: @syu_ya23
このセッションの内容 ● Reality Scanではじめるフォトグラメトリ ● ● ● Reality Capture 、Reality Scan 、フォトグラメトリとは？ フォトグラメトリのコツ Reality Capture / Reality Scan の使い方
Reality Capture / Reality Scan とは？ 画像を元に3Dモデルを生成するフォトグラメトリ ツール Reality Capture ● ● ● ● ● PC向けに提供 プロユースでも使用できる 様々ツールを搭載 写真だけでなく、レーザー スキャンデータも対応 撮影スキルや使用機材に よってクオリティ 有料→一部無料に※１ Reality Scan ● ● ● ● ● iOS/Android向けに提供 ガイド付で初心者でも手軽 に使用できる 処理はクラウドで スマホのカメラ性能がクオ リティの最大値 無料！ ※1： 年間収益$100M未満の企業、個人や学生、教育、ホビーユースでは無料で使用可能 年間収益$100M以上の場合は、$1,250/シート/年間、もしくはUnreal Engine サブスクリプションに同梱
フォトグラメトリ とは？ 画像の特徴点を検出し、特徴点を元に繋ぎ合わせ、3Dモデルを生成する
フォトグラメトリ とは？ こんな感じに様々な角度から対象物を撮影して…
フォトグラメトリ とは？ こんな写真ができる…
フォトグラメトリ とは？ それをReality Captureなどのフォトグラメトリソフトに取り込んで処 理をかけると複数の写真で同じ部分にポイントが検出される 同じポイント 同じポイント 同じポイント ※的確にはもっとピクセルレベルで
フォトグラメトリ とは？ ポイントを元に画像を繋ぎ合わせ3Dモデルを生成
フォトグラメトリ の用途：空間、デジタルアーカイブ
フォトグラメトリ の用途：テクスチャ
Megascans – Reality Captureで制作
Reality Capture / Reality Scan とは？ 画像を元に3Dモデルを生成するフォトグラメトリ ツール Reality Capture ● ● ● ● ● PC向けに提供 プロユースでも使用できる 様々ツールを搭載 写真だけでなく、レーザー スキャンデータも対応 撮影スキルや使用機材に よってクオリティ 有料→一部無料に※１ Reality Scan ● ● ● ● ● iOS/Android向けに提供 ガイド付で初心者でも手軽 に使用できる 処理はクラウドで スマホのカメラ性能がクオ リティに最大値 無料！ ※1： 年間収益$100M未満の企業、個人や学生、教育、ホビーユースでは無料で使用可能 年間収益$100M以上の場合は、$1,250/シート/年間、もしくはUnreal Engine サブスクリプションに同梱
Reality Capture / Reality Scan とは？ Reality Capture Reality Scan プラットフォーム Windows iOS/Android 機能 レーザースキャンや補正写真のイン ポート、リダクションなども可能 スマホで撮影、メッシュの生成のみ 無料 or $1,250 or Unreal サブスクリプションに付属※１ 無料 計算 細かな設定 価格 まとめ ローカル 可能 初心からプロまで幅広く ローカル＋クラウド(最終的な計算) 不可 初心者でも扱いやすい ※1： 年間収益$100M未満の企業、個人や学生、教育、ホビーユースでは無料で使用可能 年間収益$100M以上の場合は、$1,250/シート/年間、もしくはUnreal Engine サブスクリプションに同梱
Reality Capture の新しい料金 収益$1M以上の 会社、事業体 収益$1M未満の 会社、事業体 ライセンスの 購入が必要 どちらかを購入 • • Reality Capture単体 $1,250/シート/年 学生 教育機関 個人 ホビーユース 無料 Unreal Engine サブスクリプション $1,850/シート/年 Unreal Engine サブスクリプションではUE、Twinmotion、Reality Capture が利用可能 収益$1M: 会社、事業体の1年間の総収入
フォトグラメトリのコツ Basic … 初心者、ホビーでも抑えておくと良いこと Advanced …本格派、汎用アセット制作向け
フォトグラメトリの苦手なもの・得意なもの 苦手なもの ● ● ● ● ● つるつるなもの ＝反射が強いもの 糸や毛などの細い物 単色なもの 動いているもの 透過物 例えば… ● 鏡、金属、ガラス、ペット ボトル、液体など 得意なもの ● ● ● ざらざらしたもの マットな質感のもの 色彩豊か、柄が複雑なもの 細かな凹凸があるもの Basic
フォトグラメトリの苦手なもの・得意なもの Basic
フォトグラメトリの苦手を乗り越える方法 ● ● ● ● Advanced 低光沢のマットスプレーで塗る マットパウダーを塗る カメラリグ(動いているもの) モノタロウより引用 レーザースキャン CGWORLD.jpより引用
撮影のコツ①：クリアな写真を Good! Basic Bad... Bad... Bad... 被写界深度 ピントずれ によるボケ ぶれている ノイズが多い
撮影のコツ①：クリアな写真を Advanced これらを改善するために… • 被写界深度によるボケ→F値を高くする • ピンぼけ→オートフォーカスを使うなど • ぶれている→シャッター速度を早くする or 明るいところで撮影 or 三脚を使う • ノイズ：ISOを下げる / 暗い場所では三脚・一脚を使う • 焦点距離は35mmくらいがおすすめ！ 望遠→画角が狭くたくさん撮る必要がある＆ボケやすい(レンズによる) 広角→広角になるほど歪む傾向がある(レンズによる) スマホでもLightroomアプリなどでこういった設定の変更が可能
Basic 撮影のコツ②：前後の写真で70%以上重複させる Good! なるべく細かい角度、移動で Bad... 前後の写真で重なる部分が少ない
Basic 撮影のコツ②：前後の写真で70%以上重複させる
Basic 撮影のコツ③：屋外では天気と時間に気を付ける 曇天は最高のフォトグラ日和！ △晴れ → 影もオクリュージョンもでやすい 影の向きも変わる、雲も動く 傘などで意図的に常に影を作るのも １つの方法 ×雨 → 濡れると反射が強くなる、色も変わる ◎曇り(特に暑い雲に覆われている) → 明確な影がでない、拡散された太陽光
Basic Reality Scanでフォトグラメトリ：キャプチャ Start New Project をタップして撮影を開始
Basic Reality Scanでフォトグラメトリ：キャプチャ 360°様々な角度から撮影 移動すると自動で撮影される 手動撮影も可能
Basic Reality Scanでフォトグラメトリ：キャプチャ 写真が処理され 3Dが生成されたところに 色付きの点が表示され始める 緑：写真が足りている 黄：写真が少し足りない (ディテールが甘くなる) 赤：写真が足りない この時点では気にしなくもOK
Basic Reality Scanでフォトグラメトリ：キャプチャ 右下の ボタンを押すと プレビューモードに どのような状態か確認できる
Basic Reality Scanでフォトグラメトリ：キャプチャ 右下の ボタンを押して ポリゴンを生成する範囲を決 める 必要な部分だけ半透明な枠の 中に納まるようにする Continueの上の 可能 から回転も
Basic Reality Scanでフォトグラメトリ：キャプチャ からプレビューの ポリゴン＋テクスチャを表示 できる
Basic Reality Scanでフォトグラメトリ：キャプチャ Capture もしくは Quality でクオリティの確認 赤い部分は写真をさらに撮影 して追加する
Basic Reality Scanでフォトグラメトリ：キャプチャ を押して タイトルなど入力し を押すと 写真がクラウドにアップされ 最終的な処理がクラウド上で 行われる 写真を大量にアップするので 後ほどWi-Fi環境がでアップし たい場合は で後ほど アップすることも可能
Reality Scanでフォトグラメトリ：完成！ 処理が完了するとSketchfabにアップロードされて、ダウンロードも可能 デフォルトでは自分以外は見れない設定になっているのでご安心を！
Reality Capture でのワークフロー Basic • 撮影 (カメラ) 対象物の撮影 • • • • フォトグラメトリ (Reality Capture) 写真のインポート 3D化 テクスチャ生成 エクスポート UE5
Reality Capture でのワークフロー Advanced 撮影 • • (カメラ) カラーチェッ カー撮影 RAWでの 対象物の撮影 写真調整 (Lightroom) キャリブレー ション 露出補正 • • モデル修正 • • • • (ZBrush/Houdini) 不要な部分の除去 崩れた部分の修正 (リダクション) (RCに戻して テクスチャ投影) テクスチャ作成 • • (Substance, PS) フォトグラメトリ • • • • Roughness, Metallic, Normalなどの作成 (タイリング化) (Reality Capture) 写真のインポート 3D化 (テクスチャ / 頂点カラー 生成) エクスポート デライト (Agisoft De-Lighter) • カラーマップ のデライト UE5
Reality Capture でフォトグラメトリ：使用する道具 • 一眼レフカメラやスマホ(ドローンなどを使う場合も) オプション • • • • • Advanced カラーチェッカー 三脚 or 一脚 PL(偏向)フィルター、フラッシュ スケーラー 照明＋ディフューザー＋ホリゾント など calibriteより引用 ASCIIより引用
Lightroom: キャリブレーション Calibration Plugin のインストール https://calibrite.com/us/software-downloads/ 撮影したカラーチェッカーの画像 書き出し→Color Checker Camera Calibration Advanced
Lightroom: キャリブレーション Color Checker Camera Calibrationで取得したプロファイルの適用 Advanced
Lightroom: 色温度の調整 グレースケールの中から一番”%”にばらつきがある色を カラーピッカーで選択 Advanced
Lightroom: 露出の調整 チャートの明るさとヒストグラムを照らし合わせながら露出を調整 Advanced
Lightroom: その他の調整 ✓ 色収差除去を除去 ✓ プロファイル補正を使用 ・ゆがみ：0 やらない方が良い補正、設定 • トリミング • 台形補正 • スタビライズ(動画など) • EXIFの削除 Advanced
Lightroom: 設定の同期 Advanced
Lightroom: 書き出し • フォーマット • jpgやpngでOK • 16bit tiffも使えるが 計算時間が増える割に変わらない • カラースペースは任意で設定 • 画像サイズ • 画像サイズを小さくするほど RCでの計算時間は減る • クオリティ重視の場合は変えない • メタデータ • すべてのメタデータ Advanced
Reality Capture：最短 3ステップ Basic 1. 画像のインポート 2. Align(特徴点の検出、点群化) 3. Calculate Model(ポリゴン化) 4. テクスチャ生成 UIから 一括実行も可能 5. エクスポート 機能が豊富なため、他にも様々なことがRC内でできます コマンドラインで 自動化も可能 (https://www.capturingreality.com/r ealitycapture-cli-sample-scripts)
Reality Capture：初回設定 – レイアウト Basic
Reality Capture：初回設定 - キャッシュ 大容量のキャッシュを生成するので 余裕のあるHDDなどに設定 Basic
Advanced Reality Capture：Alignment 設定(オプション) • Max Features per mpx/image: メガピクセル/画像あたりに使用する 最大の特徴点の量 多いほど計算時間が延びるが綱ばる可能性 も高くなる • Image overlap: 画像が繋がらないけど、撮り直しもできな い場合はLowなどにするとオーバーラップ が少なくても繋がりやすくなる
Reality Capture：画像のインポート Basic
Reality Capture：Align(点群化) Basic
Advanced Reality Capture：スケーラーを使用したサイズ合わせ スケーラーがなくても 2点間の距離を手動で指定して サイズを調整することも可能
Advanced Reality Capture：スケーラーを使用したサイズ合わせ ALIGNMENT→Detect Markers → Detect: マーカーが検出される
Advanced Reality Capture：スケーラーを使用したサイズ合わせ
Advanced Reality Capture：スケーラーを使用したサイズ合わせ このスケーラーがどのようなものかを定義する.txtを作成し、インポート 名前は何でもOK
Advanced Reality Capture：スケーラーを使用したサイズ合わせ ALIGNMENT→Update: スケーラーを元にしたサイズに調整される
Reality Capture：Calculate Model(ポリゴン化) • Preview Quality: 計算速度重視 • Normal Quality: 通常はこれでOK • High Quality: ポリゴン数も膨大な最高クオリティ GPUメモリもより多く使用する Basic
Reality Capture：テクスチャの作成 Basic
Reality Capture：テクスチャの作成 Advanced
Reality Capture：モデル・テクスチャのエクスポート Basic
Twinmotionでレンダリング
Reality Capture / Reality Scan チュートリアル https://dev.epicgames.com/community/capturingreality/learning?source=epic_games
Principles of Photogrammetry and Scanning https://dev.epicgames.com/community/learning/paths/yzG/unreal-enginecapturing-reality-principles-of-photogrammetry-and-scanning
Reality Capture サンプルデータ https://www.capturingreality.com/sample-datasets