UE5で実現する映像制作の新境地【UNREAL FEST 2023 TOKYO】
53.5K Views
June 02, 23
スライド概要
講演アーカイブ：
https://youtu.be/Ky6tv8ycxKU
講演内容：
UE5がもたらす映像制作の新しい可能性を探ります。GUNCY’S が自主映像制作を通じて挑戦した映像制作プロセスや、UE5を使ったノウハウを紹介します。
・Lumenとパストレーサーの使い分け
・Nanite最適化
・プロシージャルワークフローの連携
・テクスチャのサイズと最適化 など
講演者：
松永 雅樹(株式会社GUNCY’S)
小林 哲朗(株式会社GUNCY’S)
株式会社GUNCY’Sについてはこちら：
https://guncys.com/
UNREAL FEST 2023 TOKYO 公式サイト：
https://unrealengine.jp/unrealfest/2023/
Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/
関連スライド
各ページのテキスト
GUNCY'SのUE5映像制作秘話: ノウハウ、チャレンジと裏側の物語
自己紹介 松永雅樹（サメジ部長） 株式会社GUNCY'S エンジニア 長年10年のSIer開発業務を経験した後、天啓を受けたと強弁しエンター テイメント業界に軸足を移す。今回は技術的トラブルシュート担当。 小林哲朗 (@Moscow_ojisan) 株式会社GUNCY'S テクニカルプランナー 普段はプロジェクト進行時にプランニングとディレクションを務める。 今回はアートワーク全般とコンポジットをメインで担当。初UE仕事。 © 2023 GUNCY'S inc. 2
デジタルコンテンツ開発 GUNCY'Sとは 株式会社GUNCY’S(グンシーズ)は、 3DCGをはじめとする最先端テクノロジーを熟知したメンバーと独自の戦略・ユニークな 提案などで、人々が思い描くあらゆるアイデアやイメージを実現・成功へと導く 現代版”軍師”集団です。 モーキャプのお困りごとを解決へと導く Mocap SOS ● プロジェクトコンサルティング ● 映像・CGコンテンツ制作 ● デジタルコンテンツ開発 ● 教育・執筆・講演 など、様々な事業を執り行っております。 © 2023 GUNCY'S inc. 3
デジタルコンテンツ開発 はじめに ●普段はコンサルタント ○クライアントワークが中心であり、縁の下の力持ち的立場 ●目的・目標を実現可能に ○手段は問わず、幅広くカバーする技術と分野 ●故に、自社コンテンツの開発と発信の場が少ない ○今回は外向きに発信できるコンテンツとして完全自社制作を行った © 2023 GUNCY'S inc. 4
はじめに 本プロジェクトはUnreal Engine5.1までの機能で制作した映像作品です。 また、本プロジェクトはプロダクトではなくR&Dプロジェクトです。 先進的でスマートな事例だけでなく、失敗談や試行錯誤した内容も開陳します。 皆様のプロダクトの参考になれば幸いです。 © 2023 GUNCY'S inc. 5
企画 1.プロシージャルワークフローで 少人数・高効率な 制作体制を築きたい © 2023 GUNCY'S inc. 6
企画 ●欧米のAAAゲーム開発において、最近ではプロシージャルワークフローが標準 的になってきている ●まだ日本国内でプロシージャルワークフローを導入出来ている所は多くはない が、着実に需要が増えてきている事は実感している i. https://www.youtube.com/watch?v=gCt4oLEQ2LU ii.https://www.youtube.com/watch?v=D0ERCi9mMZg iii.https://vimeo.com/273986776 © 2023 GUNCY'S inc. 7
企画 2.UE5を使ったコンテンツ を作ってみたい © 2023 GUNCY'S inc. 8
企画 ●GUNCY'SではUnityを使った作品には関わるチャンスが多く、ナレッジも溜ま ってきているがUEの事例は極少数なので実際に深堀して使ってみたい ●フォトリアルな質感、ライティングの制作に関わったケースが少ないのでナレ ッジを溜めたい ●映像コンテンツとしても品質の高い映像を実現したい © 2023 GUNCY'S inc. 9
ということで・・・ 映像作品を作ってみる © 2023 GUNCY'S inc. 10
本編映像 © 2023 GUNCY'S inc. 11
どうやって作っていくか © 2023 GUNCY'S inc. 12
映像作品ができるまでの道のり ●プリプロダクション ●プロダクション ○企画 ○ボリューメトリック撮影 ○プロット ○プロップアートワーク ○設定作成 ○UEレベルデザイン ○コンセプトアート ○UEシーケンスコンポジット ○カラースクリプト ○レンダリング ○コンテ ○AEコンポジット ○プリビズ ○エンコード © 2023 GUNCY'S inc. 13
映像作品ができるまでの道のり ●プリプロダクション ●プロダクション ○企画 ○ボリューメトリック撮影 ○プロット ○プロップアートワーク ○設定作成 ○UEレベルデザイン ○コンセプトアート ○UEシーケンスコンポジット ○カラースクリプト ○レンダリング ○コンテ ○AEコンポジット ○プリビズ ○エンコード © 2023 GUNCY'S inc. 14
プロット ● 今回は映像制作のデモンストレーションに近いため、 様々な映像の技法を活かせる物語のプロットを考え、書き出していく。 © 2023 GUNCY'S inc. 15
プロット 廃虚と化した大正ロマンの洋館を 配信者が探索する © 2023 GUNCY'S inc. 16
設定作成 ● キャラや背景の時代考証など煮詰めていく © 2023 GUNCY'S inc. 17
設定作成 現地調査や裏取り、権利関係など考慮すべき 内容は結構多いことを実感… © 2023 GUNCY'S inc. 18
コンテ 字コンテ 絵コンテ © 2023 GUNCY'S inc. Vコンテ 19
字コンテ ● プロットをベースに各カットに切り分け、場所、カメラ、演出等文字ベースで 物語の進行を書き出す © 2023 GUNCY'S inc. 20
絵コンテ © 2023 GUNCY'S inc. 21
Vコンテ ● 絵コンテを使いカット尺の確認 © 2023 GUNCY'S inc. 22
コンセプトアート © 2023 GUNCY'S inc. 23
コンセプトアート © 2023 GUNCY'S inc. 24
コンセプトアート © 2023 GUNCY'S inc. 25
カラースクリプト ● コンテにカラーを上乗せして各カットの調子を確認する © 2023 GUNCY'S inc. 26
カラースクリプト＋コンセプトアート © 2023 GUNCY'S inc. 27
プリビズ © 2023 GUNCY'S inc. 28
映像作品ができるまでの道のり ●プリプロダクション ●プロダクション ○企画 ○ボリューメトリック撮影 ○プロット ○プロップアートワーク ○設定作成 ○UEレベルデザイン ○コンセプトアート ○UEシーケンスコンポジット ○カラースクリプト ○レンダリング ○コンテ ○AEコンポジット ○プリビズ ○エンコード © 2023 GUNCY'S inc. 29
4DViewsによるボリューメトリック人物 ● 実写をベースにそのままポリゴン化・モーション化し、保存する © 2023 GUNCY'S inc. 30
4DViewsとは？ ●4DViewsボリュ―メトリック 映像→ シェーダー or テクスチャ シルエット→ メッシュ © 2023 GUNCY'S inc. 31
4DViewsとは？ ●クレッセント様ご協力のもと、撮影しました © 2023 GUNCY'S inc. 32
ボリューメトリック撮影 ● 各カットのモーションの香盤表を元に撮影していく © 2023 GUNCY'S inc. 33
ボリューメトリック撮影 4DViews 出力結果 © 2023 GUNCY'S inc. 34
ボリューメトリック撮影 4DViews出力結果 © 2023 GUNCY'S inc. 35
撮影時の服装注意点 ●真っ白・真っ黒 ●パターン模様のある服 ●緑 ●レースや網状の服(身体に密着状態) ●レースや網状の服 ●不透明度MAXのグラサン ●光沢が強い ●アクセサリー(身体に密着状態) ●ファーが生えてる ●まとまった髪 ●眼鏡 ●細いプリーツスカート ●アクセサリー ●浮いた髪型 © 2023 GUNCY'S inc. 36
UE上で扱う © 2023 GUNCY'S inc. 37
UE上で扱う © 2023 GUNCY'S inc. 38
UE上で扱う © 2023 GUNCY'S inc. 39
モデリング ●Houdini ●DCCツール ○Houdini Engine ○UDIM ○USDとモジュール ○テクスチャ ■Substance ●UE ○プロシージャル生成 © 2023 GUNCY'S inc. 40
Houdini 壁、窓、ドアなどを プロシージャル作成 パラメータを持つ HDA化：モジュール © 2023 GUNCY'S inc. モジュール組合せ 館を構築 41
Houdini Houdini USD出力 © 2023 GUNCY'S inc. UnrealEngine 42
Houdini→UE 自作EUWで USDをインポート HoudiniEngineで モジュールを再構築 © 2023 GUNCY'S inc. モジュールをベイク StaticMeshに変換 43
Houdini ● ダメージ表現・リトポもHoudiniで 元のモデル Divide： 格子状にリトポ © 2023 GUNCY'S inc. 44
Houdini リメッシュ： 角丸変形 変形具合に重み付け 破損個所をコントロール © 2023 GUNCY'S inc. 45
Houdini リメッシュ前モデルと ブーリアン 同様に他パーツも 傷を作成 © 2023 GUNCY'S inc. 46
Houdini ● 蜘蛛の巣の生成 © 2023 GUNCY'S inc. 47
UE ● ツタの生成（Crazy Ivy - Procedural Ivy & Vine Generator Plug-in） https://www.unrealengine.com/marketplace/ja/product/crazy-ivy-procedural-ivy-vine-generator-plug-in-auto-grow-plants-in-editor © 2023 GUNCY'S inc. 48
DCC ● 汎用性の必要が無い・Houdiniで制作したもの以外のプロップ類 © 2023 GUNCY'S inc. 49
DCC ● UDIMで解像度を確保 Single UDIM ●UE5.1 updateでUVEditorがUDIMに対応（ベータ） © 2023 GUNCY'S inc. 50
DCC ● Substanceでマテリアルを作成、Pluginで直接sbsをimport Substance for UE Plugin UE © 2023 GUNCY'S inc. 51
ShotGridでlookdev UE 自作Lookdev Plugin パイプライン サーバ ShotGrid ボタン一つで自動的に対象 環境・オブジェクトをターン テーブルとして撮影、 ShotGridにアップロード までを行うPlugin © 2023 GUNCY'S inc. 52
UE5.1に変わったら表現力が上がった ●Lumenが強くなった ⚫ 5.0でプロダクションを行ってる最中だったが、 リリースノートを見てバージョンアップを決意 （https://docs.unrealengine.com/5.1/ja/unreal-engine-5.1-release-notes/） © 2023 GUNCY'S inc. 53
Lumenが強くなった ●影の演算精度が高くなった ●光の拡散がリッチになった ●レイトレの改善・強化 ●Naniteの改善・強化 ●使える機能が増えた ●全体的なパフォーマンスが結構上がった © 2023 GUNCY'S inc. 54
Lumenが強くなった 実現可能になった バージョンアップによる ルック・機能と 不具合や弊害 パフォーマンス © 2023 GUNCY'S inc. 55
パストレも検証 © 2023 GUNCY'S inc. 56
パストレも検証 ●屋外（ライトのセットアップは同一） Lumen PathTracer © 2023 GUNCY'S inc. 57
パストレも検証 ●屋内（ライトのセットアップは同一） Lumen PathTracer © 2023 GUNCY'S inc. 58
パストレも検証 ●パストレーサ―で運用しようと思うと、Lumenとは別の ライティングのセットアップを用意する必要がある。 ●パストレーサ―は光の到達精度が高い(それはそう) ○Fogの奥の反射もちゃんとレンダリングされるので空気感が綺麗 ○逆にLumenはパストレと同じライティング設定だとのっぺりする © 2023 GUNCY'S inc. 59
パストレとLumen ●イテレーションの回せる速度 ●エディタ上での確認のしやすさ ●5.1アップデートによる改善度合 © 2023 GUNCY'S inc. 60
パストレとLumen やっぱりLumenでいこう © 2023 GUNCY'S inc. 61
ライティング ●印象的なライティングにするには ○ライトシャフト ○フェイクを混ぜる ○Fogの制御 © 2023 GUNCY'S inc. 62
ライトシャフト ● 光が差し込むシャフト © 2023 GUNCY'S inc. 63
ライトシャフト ● 光源を見つめる方向のシャフト © 2023 GUNCY'S inc. 64
ライトシャフト ● Intensityを爆上げする ● Volumetric Scattering Intenityを爆上げする ● Cast Volumetric Shadowをオンにする © 2023 GUNCY'S inc. 65
ライトシャフト ● スポットライトなどを使えばムラのある光漏れを疑似的に再現できる © 2023 GUNCY'S inc. 66
Fogを綺麗に出したい ● r.VolumetricFog.GridPixelSize を8から2に下げて精度を高める（重くなる） © 2023 GUNCY'S inc. 67
フェイクを混ぜる ● 印象的に見せたい箇所へのライティング © 2023 GUNCY'S inc. 68
フェイクを混ぜる ● 太陽方向を明確にしたい ● 正面階段のディティールを見せたい ● 次カットに映る柱時計の位置を明確に ● 崩壊部に寒々しさが欲しい © 2023 GUNCY'S inc. 69
フェイクを混ぜる ● 太陽方向用AreaLight ●階段用AreaLight ●影用青ライト ● 柱時計用SpotLight © 2023 GUNCY'S inc. 70
フェイクを混ぜる © 2023 GUNCY'S inc. 71
フェイクを混ぜる © 2023 GUNCY'S inc. 72
フェイクを混ぜる © 2023 GUNCY'S inc. 73
フェイクを混ぜる ● Fog素材を板ポリに貼って、VolumetricFogより絵を制御しやすくするテスト © 2023 GUNCY'S inc. 74
メッシュ ●Naniteにおける注意点 ○ソフトエッジ ○透明 ○フォールバックメッシュ ●Lumenにおける注意点 ○サーフェスキャッシュ ○アーティファクト ○現状最適解だったレイトレの設定 © 2023 GUNCY'S inc. 75
メッシュ：Nanite ●ソフトエッジでないとNanite力が発揮されない © 2023 GUNCY'S inc. 76
メッシュ：Nanite ●透明が含まれるマテリアルは使えない Nanite:off Nanite:on © 2023 GUNCY'S inc. 77
メッシュ：Nanite ●フォールバックメッシュに注意 ○たまにライティングの影響がおかしい箇所が出る ○NaniteオンのままエクスポートするとFBMが出てくる Nanite:on 1f目 2f目 Nanite:off © 2023 GUNCY'S inc. 78
メッシュ：Lumen ●メッシュに厚み（or 閉じたメッシュ）がないとLumenを活かせない © 2023 GUNCY'S inc. 79
メッシュ：Lumen ●サーフェスキャッシュ：穴形状はつらい ●ピンク：GIが効かない（反射が黒くなる） ○解決法 ■複雑ではない形状にオブジェクトを 切り分ける。 （完全には直らないこともある） [Surface Cache] 表示モード © 2023 GUNCY'S inc. 80
メッシュ：Lumen アーティファクトの出現（Nanite） © 2023 GUNCY'S inc. 81
メッシュ：Lumen 謎の影は Cast ray traced shadowが有効の時 参考：Modular Seaside Town https://www.unrealengine.com/marketplace/ja/product/modular-seaside-town © 2023 GUNCY'S inc. 82
メッシュ：Lumen ●解決法 ○プロジェクト設定 or ライト からCast Ray Traced Shadowをオフ ○（r.RayTracing.NormalBiasを上げる） ○（メッシュの厚みを増やす） ●メッシュの厚みを増やす ●Path Tracer ○（パストレを使う） © 2023 GUNCY'S inc. 83
メッシュ：Lumen ●半透明が光ることがあった ○Ray Traced Shadowが有効のため （バグの可能性） ●解決法 ○プロジェクト設定 or ライトから Cast Ray Traced Shadowをオフ これらの件からRTSがオフの状態でのライティング調整にシフトした。 © 2023 GUNCY'S inc. 84
メッシュ：Lumen ● Ray Traced Shadow ● Ray Traced SkyLight は理由がない限りオフが安定していておすすめです。 © 2023 GUNCY'S inc. 85
Niagaraパーティクルによるホコリ表現 © 2023 GUNCY'S inc. 86
2タイプのホコリ ①常時発光タイプ 1.光学的に嘘をついてでも光ってて欲しい 2.多いと目立ちすぎるのでほんのちょっと だけのエミッター a.右 5 Emitter b.左 15 Emitter © 2023 GUNCY'S inc. 87
2タイプのホコリ ②光源反応タイプ 1.更に嘘ついて別の光源に反応してほしい 2.300Emitter の大盤振る舞いエミッター a.少ないとまるで見えなかったため増量 © 2023 GUNCY'S inc. 88
光源反応はどうやって？ ●Customノード return ResolvedView.DirectionalLightDirection; ●Normalに繋ぐ ○ 強い光源があたるほど… ■ パーティクルメッシュのノーマル→カメラ方向 ■ 明るく見えるようになっていく 参考：マテリアルエディタのCustomノードあれこれ © 2023 GUNCY'S inc. 89
スマホ画面 © 2023 GUNCY'S inc. 90
スマホ画面 マテリアル スマホ用カメラ SCC2D (テクスチャ) © 2023 GUNCY'S inc. 放送UI素材 スマホ画面 メッシュ 91
スマホ画面 ● 解決法が無い or 分からない問題（と仕様） ● ライト・シャドウ表現に制限がある ● アンチエイリアスが効かない ● ポスプロが効かない ● ブラーがかかるオブジェクトがある 現在：連番画像→スマホ画面はめ込み 検証中 より良い表現方法知っている方がいたらヘルプ！！ © 2023 GUNCY'S inc. 92
カットの管理 ●1カットごとにシーケンスを分けてレンダリング ○ 安定性、レンダリング中のトラブルの早期発見を図る ●必要に応じてMRQのプリセットを使い分ける ○ CVarsの使い分け © 2023 GUNCY'S inc. 93
カットの管理 ● 安定性、柔軟性、レンダリング中のトラブルの早期発見を図る © 2023 GUNCY'S inc. 94
カットの管理 ● コンソール変数（CVars）の使い分け © 2023 GUNCY'S inc. 95
カットの管理 ● CVarsの使い分け ジェネラルなCVars設定：残像発生 カット専用CVars設定：くっきりFog © 2023 GUNCY'S inc. 96
カットの管理 ● CVarsの使い分け ジェネラルなCVars設定：残像発生 カット専用CVars設定：くっきりFog © 2023 GUNCY'S inc. 97
レンダリング これで一通りUE内での コンポジットは組みあがった © 2023 GUNCY'S inc. 98
レンダリング さあ、レンダリングしよう © 2023 GUNCY'S inc. 99
メモリ重すぎ問題 突然のクラッシュ！ © 2023 GUNCY'S inc. 100
原因はメモリ不足？ © 2023 GUNCY'S inc. 101
グラフィックカードを NVIDIA RTX A4500へ VRAM20GB搭載 会社マシンの筐体 にも収まった © 2023 GUNCY'S inc. 102
なので… このプロジェクトでは NVIDIA RTX A4500で 扱えるリソースサイズ までに収めよう ということに決まりました。 © 2023 GUNCY'S inc. 103
プロジェクト側の対策は… 巨大なテクスチャを含め サイズを一旦全て縮小 © 2023 GUNCY'S inc. 104
プロジェクト側の対策は… ● 無意味なテクスチャをマテリアルから排除 ○ （真っ黒なメタリックマップなど） ● AO, metallic, roughnessなどをmaskマップとしてまとめる ○ マテリアルもそれに合わせて調整 © 2023 GUNCY'S inc. 105
セーフ！！ © 2023 GUNCY'S inc. 106
レンダリングを軽くする ●Naniteがしっかり効くようにする ●テクスチャ・マテリアルの最適化 ●ハードウェアを強化 © 2023 GUNCY'S inc. 107
バージョン管理について © 2023 GUNCY'S inc. 108
バージョン管理システムの遍歴 ●弊社にとって実験プロジェクトであった ○しかし、PerforceやPlasticSCMなどのいつもと違うバージョン管理システム 採用しなかった。 ●普段弊社で使い慣れているGitHubを選択した。 ●大容量のアセットを扱うことが予測される。 ○LFS対象の大容量のバイナリファイルをAmazon S3に格納するようにした。 © 2023 GUNCY'S inc. 109
GitHubで行きましょう © 2023 GUNCY'S inc. 110
GitHubがわかりません！ © 2023 GUNCY'S inc. 111
複雑なシステムの苦悩 ●社内・社外を問わず、GitHubを扱えるのは経験を積んだメ ンバーに限られる。 ●儀式めいた暗黙のノウハウが必要なシーンがそれを加速。 エディタのプロセスがあると特定Gitクライアントのgit.exeからアクセスできない © 2023 GUNCY'S inc. 112
未経験メンバーからの声 ●どう操作すれば良いのかわからない ●解説サイトも松永さんからの説明のどちらか だけでは腑に落ちなかった ●自分の誤操作でみんなの環境を壊すのではないか 社内スライド『人類にGitは早すぎる』より抜粋 © 2023 GUNCY'S inc. 113
今後の課題 ゲームエンジンを使う 映像制作も バージョン管理が必要 © 2023 GUNCY'S inc. 114
そのためには… わかりやすく 使いやすいバージョン管理を 会得しよう © 2023 GUNCY'S inc. 115
どうすべきだったか？ ●本来であれば、プロジェクト内のバイナリは動的なもの ○もっというとProject Pluginはバイナリ配布されることが 望ましい ○都度ビルドする場合、Blueprintプロジェクトではなく C++プロジェクトも検討すべき © 2023 GUNCY'S inc. 116
どうすべきだったか？ ● アートメンバーにはVisual Studioシリーズやそれに伴ったビルド 環境がインストールされていないことも多い ○アートメンバーにとっては導入が煩雑だしわかりにくい ○エンジニアにとってもアートメンバーのサポートがやりにくい © 2023 GUNCY'S inc. 117
本プロジェクトでの解決策 バイナリもリポジトリに含めてしまおう！ ●*.DLL ●*.lib ●*.exe（外部ツール呼び出し用） ●そのほか、Pluginsの中身全てを入れよう、となりました。 © 2023 GUNCY'S inc. 118
ところが… 開発したPlugins（DLL)を プロジェクトに組み込んだぞ！ © 2023 GUNCY'S inc. 119
あれ、他の人の環境で動かない？ © 2023 GUNCY'S inc. 120
必要なライブラリファイルが ignoreされていたままだった © 2023 GUNCY'S inc. 121
しかし、プラグインを追加した人の 環境では必要なファイルがあるから動く © 2023 GUNCY'S inc. 122
再現できない 謎のトラブル発生 © 2023 GUNCY'S inc. 123
…を経て © 2023 GUNCY'S inc. 124
本プロジェクトの.gitignore設定はこれだ！ https://github.com/github/gitignore/blob/main/UnrealEngine.gitignore からの差分 © 2023 GUNCY'S inc. 125
.gitignoreの 途中変更に ご用心 © 2023 GUNCY'S inc. 126
ということで・・・ © 2023 GUNCY'S inc. 127
映像作品ができるまで ● 紆余曲折在りつつも、ひとまず映像作品が出来上がってきた © 2023 GUNCY'S inc. 128
本編映像 © 2023 GUNCY'S inc. 129
まだまだこれから！ ● 映像もプロジェクトも続いていきます © 2023 GUNCY'S inc. 130
有志集え！ UE一緒にやりませんか？ みんなで一緒に考えたり、手を動かしたりして、 このプロジェクトをUEのベンチマークへ導きたいです © 2023 GUNCY'S inc. 131
おわりに 今後はプロシージャルワークフローで少人数・高効率な制作 体制を実際のプロダクトへ適用していこうと考えています。 今回の発表でUEの特徴や性質、工夫できる箇所など 皆様の参考になるものがあれば幸いです。 © 2023 GUNCY'S inc. 132
ご清聴ありがとうございました。 株式会社GUNCY'S 松永 雅樹, 小林 哲朗 © 2023 GUNCY'S inc. 133
アンケートへのご協力をよろしくお願いします アンケートQRコード （後日ご支給いたします） ＜アンケートURL＞ © 2023 GUNCY'S inc. 134