MetaHumanによるデジタルヒューマンの実現と可能性 | EGC2024 (Ken Kuwano)
16.2K Views
April 30, 24
スライド概要
本資料ではMetaHumanの概要から活用事例、技術的な課題への対策について、基本的な知識を得るために役立つ情報を提示しています。
Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/
関連スライド
各ページのテキスト
Epic Games Conference 2024 MetaHuman による デジタルヒューマンの実現と可能性 Epic Games Japan Software Engineer, Developer Relations Ken Kuwano
デジタルヒューマン ● ● コンピュータで生成された3Dバージョンの人間 仮想世界で実在の人物のように動き、振る舞う
デジタルヒューマンの特徴 ● ● ● ほとんどの人間の顔は完全に左右対称ではない 肌の色素に関しても、鼻の先がわずかに赤い そばかすやシミが散らばっていたりする、など
リアルな3Dキャラクターの作成は とてもコストが高い ↓ MetaHuman を活用！
Agenda ● MetaHuman の概要 ● MetaHuman の活用 ● MetaHuman の技術 ● MetaHuman の将来
MetaHuman の概要
MetaHuman Unreal Engine のプロジェクトであらゆるクリエイターが利用可能な、 完全なリギングが施されたフォトリアリスティックなデジタルヒューマンを作成、 利用できるフレームワーク
MetaHuman の目的 ● クオリティ ○ ○ ● 効率的 ○ ○ ● 特別な設定や手間が不要でそのまま利用できる 広告、映像分野でも利用可能なクオリティ 利用方法や編集が簡単、学習コストも低く導入しやすい 必要なアセットだけをパッケージに組み込める スケーリング ○ ○ モバイルゲームで複数のキャラクターを同時に出せるパフォーマンス モバイルからハイエンドコンソールまで、プラットフォームに縛られない可用性
MetaHuman の想定する立ち位置 Indie content creators Premium content creators クリエイティブ Indie gamesprincipal characters Indie gamessecondary characters/ crowds “just get me a character on the screen” AAA gamesprincipal characters Virtual Production Photoreal content creators Previz Archviz Designviz クオリティ AAA gamessecondary characters AAA Gamescrowds Meta Human
MetaHuman Creator: High-Fidelity Digital Humans Made Easy | Unreal Engine https://www.youtube.com/watch?v=S3F1vZYpH8c&t=1s
MetaHuman の概要 MetaHuman Creator (MHC) ● クラウドストリーミングによるWeb上からデジタルヒューマンの編集がで きる無料のツール ● 髪型、顔、身長、体のプロポーションなどのカスタマイズ ● 自動的なリグの挿入
体系・服・目などのパーツ編集 ブレンドシェイプ テクスチャ編集 LOD
Control Rig ● ● ● エンジン内で直接キャラクターをリギングおよびアニメーションさせるツール 使用することで、外部ツールでリグを作成してアニメーションさせる必要がな くなり、UnrealEditor で直接アニメーションできる MetaHuman を Editor にインポートすると自動的にセットアップ済み
Facial Animation
MetaHuman Animator Now Available https://www.youtube.com/watch?v=WghYEFIoaM8&t
MetaHuman の概要 MetaHuman Animator (MHA) ● ● ● iPhone、ヘッドマウントカメラでのリアルタイムスキャンによるフェイ シャルキャプチャー あらゆるフェイシャル パフォーマンスを非常に忠実なアニメーションとし て MetaHuman キャラクターで再現可能 取得したアニメーションをアセットとして保存可能
MetaHuman で出来ること ● ● ● ● ● ● 顔、服装、髪型、ボディなどを組み合わせてキャラクターを作成 作成したキャラクターを Unreal Engine にインポート 自作したカスタムメッシュを MetaHuman としてインポート Unreal Engine 上でキャラクターのフェイシャルデータをキャプチャー フェイシャルデータからアニメーションデータの作成 プラットフォームや用途に応じたクオリティの自動スケール
システムの概要 Auto Rigging Retopo Character DB Neutral Sculpt MetaHuman Creator Pixel Streaming idFit .json file MetaHuman Cook Commandlet Quixel Bridge Live Link Face .zip file UE assets .dna Head .fbx Anim .fbx MetaHuman Animator Unreal Editor Quixel Bridge Client Anim .fbx Modified Asset source assets
MetaHuman の活用
Blue Dot: A 3Lateral Showcase of MetaHuman Animator https://www.youtube.com/watch?v=bIGnx2jvrbg&t ：Unreal Engine
全然、助けてもらえない人 ：五分目悟 https://www.youtube.com/watch?v=Ivnji-PJUZw
AI with | Reply | 3D Streaming by Arcware ：ARCWARE https://www.youtube.com/watch?v=sDhZTlsHNb0
How a Brain Implant and AI Gave a Woman with Paralysis Her Voice Back https://www.youtube.com/watch?v=iTZ2N-HJbwA&t=90s ：UC San Francisco (UCSF)
(4K) SILENT HILL: Ascension | Premiere Trailer (subtitled) | KONAMI https://www.youtube.com/watch?v=O-6Q8EzBJKA ：SILENT HILL (Official)
８番出口 (4K) SILENT ：KOTAKE HILL: Ascension CREATE | Premiere Trailer (subtitled) | KONAMI https://www.youtube.com/watch?v=O-6Q8EzBJKA https://www.youtube.com/watch?v=03fCgS6eu_8 ：SILENT HILL (Official)
MetaHuman の技術
MetaHuman の技術 MetaHuman 利用における技術的な課題 ● 最適化 ● 最適化の基本戦略 ● MetaHuman を利用する上でのパフォーマンスの注意点 ● MetaHuman のアニメーションにおける最適化ポイント
最適化 ● 戦略 ● 適切な品質の MetaHuman を導入 ● スケーラビリティで調節 ● LOD を設定 ● LOD Sync Component
LOD プラットフォーム別での制限 https://dev.epicgames.com/documentation/ja-jp/metahuman/technical-specifications-for-metahuman s/platform-and-lod-specifications
LOD LOD別での制限 https://dev.epicgames.com/documentation/ja-jp/metahuman/technical-specifications-for-metahuman s/platform-and-lod-specifications
最適化 MetaHuman のパフォーマンス ● アニメーション ● ● ● コンポーネント ● ● ● 体や顔などは、AnimBP + PPAnimBP を 更新することでの負荷 靴などは、アセットによって PPAnimBP が設定されているものも 眉毛やひげなどは Groom Component アニメーションに伴う、位置更新処理で の負荷 LOD Sync コンポーネントの Tick
Control Rig で指の計算を無効化 【課題】 ● Control Rig で LOD:0～2 は指のひねりを計算させる、LOD:3 以降では指のひ ねりを計算するコストを抑える 【解決策】 ● LOD レベルに応じて Control Rig を適用するかどうかを調整
Post Process AnimBP の 無効化 【課題】 ● Bodyと Face のメッシュの Post Process AnimBP の処理コスト 【解決策】 ● 各パーツの Post Process AnimBP 処理を無効化、早期段階で無効化
Post Process AnimBP の LOD 【課題】 ● 遠景でも リッチなアニメーションを行うため、絵的に効果的でない状況にお いても Post Process AnimBP の処理コストが発生 【解決策】 ● Skeletal Mesh 用の設定、Post Process AnimBP の LOD の閾値を利用するこ とで 遠景では Post Process AnimBP の処理を無効化
MetaHuman の将来
MetaHuman Timeline MetaHuman Plugin 1.0 2.0 3.0 Experimental Creator Plugin Quixel Bridge Animator LiveLinkFace Improvement 4.0
Next ● ● ● ● ● ● ● Early Access から Production Ready への移行 Hair パフォーマンスの改善 ４Dパイプライン オーディオ主導のフェイシャル アニメーション ブレンダブルボディ ポーズ修正/リターゲティング その他の改善 ● ● ● ● MetaHuman Animator MetaHuman Creator (モデルとUX) テクスチャ合成の最適化 Maya 用 MetaHuman (DNA Calib) エディタ など
Q&A 基本的な利用規定はEULAライセンスに従います https://www.unrealengine.com/ja/eula/mhc よくある質問はこちらをご参考ください https://www.unrealengine.com/ja/metahuman
Appendix MetaHuman の習得
Learning Resources 公式ドキュメント https://dev.epicgames.com/documentation/en-us/metahuman/metahuman-documentation
Learning Resources DEV COMMUNITY × METAHUMAN https://dev.epicgames.com/community/metahuman
Learning Resources スライド：https://www.docswell.com/s/EpicGamesJapan/KQ1EY5-UE4_UFE21S_MetaHuman 動画：https://www.youtube.com/watch?v=VBkOXtFzer4
Learning Resources 現実味の高いリアルタイムのグルーム ● MetaHuman Creator の発表ビデオに登場する人 間の髪の毛と、Meerkat サンプル ビデオに登場す る毛皮と羽毛という2つのユースケースを説明 https://cdn2.unrealengine.com/unreal-engine-hair-and-fur-whitepaper-ja-d37d2c63e381.pdf
Learning Resources フェイスリグのランタイム評価 ● ● 高速、軽量、ポータブルなフェイス リグ ソルバ である Rig Logic の技術的詳細を説明 データ読み込みと計算を効率化し、30 fps 以上の 速度でのリアルタイムソリューション作成に成功 https://cdn2.unrealengine.com/rig-logic-whitepaper-v2-ja-152f22cbf759.pdf
Learning Resources Animating MetaHumans with Control Rig in UE https://www.youtube.com/watch?v=2k2gNc_7CT0 Using the MetaHuman Facial Rig in UE https://www.youtube.com/watch?v=GEpH3o44_58 MetaHuman Performance and Scalability Settings https://www.youtube.com/watch?v=bPMEASc1rbo Photoreal Digital Actors from Capture to Final Render: a ‘Blue Dit’ Case Study https://youtu.be/J4gAu1w6Dow?t=540 Using Mesh to MetaHuman in UE https://www.youtube.com/watch?v=xOVyme4TFZw MetaHuman Framework & Machine Learning for Next-Gen Character Deformation https://www.youtube.com/watch?v=OmMi6E0EkQw
Thank you! 2023 Private & Confidential