かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！【UNREAL FEST EAST 2018】

かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！ Epic Games Japan サポートエンジニア 岡田 和也 #ue4fest

自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_VTuber) #ue4fest

今日は誰でも簡単に UE4を使ってVTuberになる方法をご紹介！ #ue4fest

そもそもVTuberとは？ (Wikipediaより) バーチャルYouTuberは、 YouTuberとして動画配信・投稿を行うバーチャルアイドル。 YouTube以外のサービスを利用する際などに YouTubeという特定のサービス名を使用することを避けるため、 単にVTuber、またはバーチャルライバーと呼称することがある #ue4fest

本講演におけるVTuberの定義 VRHMDなどのデバイスを用いて 人間の操作・動き・表情をリアルタイムで反映している バーチャルアイドル のこと #ue4fest

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた！ #ue4fest

国内におけるUE４を使ったVTuber事例 VTuber専門配信プラットフォーム「REALITY」 • 株式会社Wright Flyer Live Entertainment 社 • ほぼ毎日21:00から生配信！ #ue4fest

なぜ「REALITY」はUE4を採用したのか聞いてきました モーションキャプチャとの親和性 • IKINEMA LiveAction, Orion 親会社であるGREE社にてUE4を採用する流れ #ue4fest

なぜ「REALITY」はUE4を採用したのか聞いてきました ノードベースのプログラミング言語Blueprint • 量産時に非エンジニアが実装可能に エディタが日本語化されている ソースコードが公開されている などなど #ue4fest

海外におけるUE４を使ったVTuber事例 • デジタルヒューマン Siren • BEBYLON: BATTLE ROYALE • SIGGRAPH 2018「Real Time Live!」最優秀賞作品 #ue4fest

最近のUE4のアップデート状況 各プロジェクトからのフィードバックを受けて、 モーションキャプチャとの連携が強化！ 標準機能と各デバイスが提供している機能だけで 個人でもモーションキャプチャシステムを構築可能！ • もちろんデバイスは必要ですが… #ue4fest

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた！ #ue4fest

個人レベルでVTuberになる場合… 以下の2パターンが主流 • FaceRig + Live2D • VRHMD + モーションコントローラで 3DCGキャラクタの上半身を動かす方式 #ue4fest

サンプルプロジェクトを公開しました！ https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください！ #ue4fest

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

使用するデバイス Oculus Rift + Touch HTC Vive + Viveコントローラ Windows MR (UE4.21でネイティブサポート追加) 使える情報は 頭と両手の位置・向きのみ #ue4fest

#ue4fest

足りない部分のボーンの位置・向きを どう制御するか？ IK(Inverse Kinematics, 逆運動学)を使う！ #ue4fest

IKについて 対象ジョイントの最終的な位置・向きが先に決まっていて、 それを満たすために各ボーンを制御する手法 FK（Forward Kinematics） IK #ue4fest

基本的な使い方の流れ 1. 頭と手の位置・傾きを キャラクタの動きを制御する Animation BP に渡す 頭 左手 右手 #ue4fest

基本的な使い方の流れ 2. IK制御用のノードを Animation BPの Anim Graph に配置 3. 制御するボーンの名前と どの位置・向きに 制御するかを指定 #ue4fest

IKによる制御の注意点 IKの計算結果によっては 非常に違和感のある動きになる可能性がある • 曲がってはいけない方向に曲がったり… 適した手法を選択した上で 挙動を制御するために制限をかけることが大事 #ue4fest

UE4標準のIK機能 • • • • FABRIK Two Bone IK Spline IK Leg IK • 足の調整に最適化されたIK • Hand IK Retargeting • 体型が違う場合の手の補正機能 公式ドキュメントへのリンク #ue4fest

FABRIKノード (Forward And Backward Reaching Inverse Kinematics) UE4の中だと最も手軽に使えるIK • 制御するボーンの先端・根本と、 どの位置・向きに制御するか指定するだけ！ 公式ドキュメント「FABRIK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/Fabrik/ #ue4fest

付録：FABRIKノード の設定 Effector Transform Space • 指定するTransformの座標系 Tip Bone • 制御対象の 先端 のボーン Root Bone • 制御対象の 根本 のボーン 頭から腰のボーンを制御する場合 #ue4fest

End Effector Tip Bone Root Bone #ue4fest

FABRIKノード のメリット・デメリット メリット • 設定・制御が最も手軽で簡単！ • 制御するボーンの数に制限がない！ デメリット • 挙動を制御する上での制限が少ないため 曲がってはいけない方向に曲がる可能性がある #ue4fest

Two Bone IKノード 手足の制御に適した簡易的なIK • ２つのボーン( 3つのジョイント )の制御に特化 公式ドキュメント「Two Bone IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/TwoBoneIK/ #ue4fest

付録：Two Bone IKノードの設定 IKBone • 制御する手足の先端のボーン Effector Location • 先端ボーンをどの位置に制御するか Joint Target Location • 肘・膝の制御ポイントの位置 #ue4fest

Two Bone IKノードのメリット・デメリット メリット • FABRIKではできなかった肘・膝の制御が可能！ • FABRIKよりも計算コストが少ない デメリット • 制御できるボーン数が2個のみ #ue4fest

付録：Leg IKノード 足の制御に適したIK • 足の制御に最適化された Two Bone IKとFABRIKのどちらかを使用する形式 公式ドキュメントはまだありませんが 配布されているParagonのアセットが 使用例として参考になります！ #ue4fest

付録：Leg IKノードの設定 IKFoot Bone • Effectorとして使用するボーン FKFoot Bone • 制御する足のボーン Num Bone in Limb • 制御するボーン数( 基本は2で問題なし) Enable Knee Twist Correction • 肘のヒネリを入れるか否か #ue4fest

付録：Leg IKノードのメリット・デメリット メリット • 特に調整しなくても、いい感じに足が動く！ • ボーンの回転に関する調整が可能 • • Enable Rotation Angle Enable Knee Twist Correction デメリット • 細かい調整はあまりできない • 「内股ぎみに」などの補正をする場合は Two Bone IKを使った方が調整しやすい #ue4fest

付録：Virtual Bone Leg IKはボーンでEffectorを制御する仕組み IK用のボーンが用意されていない場合は Virtual Bone 機能を活用する！ エディタ上で スケルトンに仮想ボーンを追加する機能 公式ドキュメント「Virtual Bones」 https://docs.unrealengine.com/en-US/ Engine/Animation/Persona/VirtualBones #ue4fest

#ue4fest

付録：Virtual BoneとTwo Bone IK Two Bone IKも Virtual BoneをEffectorとして 使用することが可能 位置・向きの制御や調整が 値を直接指定するよりも やりやすい #ue4fest

付録：IKを使って 足の位置を地面の高さに合わせるチュートリアル 公式ドキュメント「IK設定」 http://api.unrealengine.com/JPN/Engine/Animation/IKSetu ps/ • Two Bone IKを使った説明ですが、 Leg IKを使う場合も十分に参考になります！ #ue4fest

付録：LegIKノードがTwoBoneIK, FABRIKの どちらを使用するかの判断基準 Two Bone IK • 制御するボーンが2 かつ “a.AnimNode.LegIK.EnableTwoBone” が 1なら TwoBoneIK FABRIK • 上記の条件を満たさない場合 • ちなみに、LegIKのEnable Rotation Limit, Min Rotation Angle設定は FABRIKで動作するときのみ有効 #ue4fest

Spline IKノード スプラインを使って複数のボーンを制御するIK • 背骨や鎖などの 複数のボーンで構成されている箇所に使用 • スプラインによる制御をする際 ボーンの階層構造は無視される 公式ドキュメント「Spline IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/SplineIK/ #ue4fest

付録：Spline IKノードの設定 Start Bone • 制御対象の 根本 のボーン End Bone • 制御対象の 先端 のボーン Roll, Twist Start / End • 各ボーンのヒネリ度合いの調整 頭から腰のボーンを制御する場合 #ue4fest

Spline IKノードのメリット・デメリット メリット • ボーン間の階層関係を意識しなくていいので より直感的にポーズを制御できる • 胴体に頭にかけて 徐々にヒネリ度合いを増やす処理を簡単にできる！ デメリット • 動的に各スプラインポイントを制御するのは大変 #ue4fest

今回紹介したIK機能 FABRIK • 2個以上のボーンを制御可能 Two Bone IK • 手足の制御に最適 Spline IK • 階層構造を意識せずに 直感的に制御可能 #ue4fest

腕の制御はどれがオススメ？ Two Bone IKがオススメ！ • FABRIKに比べて制限があるため、動作が安定している • 肘の位置に関する制御がしやすい！ #ue4fest

肘の位置は 女の子らしさ を出す上で重要！ 一般的に、肘の位置を内側（ = 脇をしめる）にすると 女の子らしさが出ると言われている • 男の場合は外側に #ue4fest

Two Bone IKの調整 肘の制御ポイント（Joint Target Location）を 脇辺りに指定しておくといい感じに！ 手を前に持ってきたときに 脇がしまっているか確認！ #ue4fest

頭 ～ 腰の制御はどれがオススメ？ 頭（ head ）から 腰 ( spine_01 )を FABRIK で制御するのが最も手軽 かつ 動きが良かった！ #ue4fest

他のIK機能との比較 Two Bone IK • 制御可能なボーン数が少ないため、 上半身を大きく使う動きができない Spline IK • 動的に各ポイントを制御するのは大変… #ue4fest

ここまで紹介した機能だけで、ここまでできちゃう！ #ue4fest

#ue4fest

せっかくなので 少しの工夫で よりかわいくなりましょう！ #ue4fest

少しの ヒネリ で女の子らしさを出そう！ #ue4fest

少しの ヒネリ で女の子らしさを出そう！ #ue4fest

男性と女性の「見る」の違い 男性： 首しか使わない 女性： 肩を傾けるなど全身を使う 引用元「男舞/女舞 日舞のモーション的解説 https://togetter.com/li/929420 」 #ue4fest

今回試してみたこと 頭の向きに応じて 肩の傾きと上半身のヒネリを調整 ボーンの階層構造を無視する Spline IKノードを使えば調整簡単！ #ue4fest

頭の向きによって、肩の傾きと上半身のヒネリを調整 #ue4fest

かわいいは作れる！ #ue4fest

ここまでのまとめ UE4には複数のIK機能が用意されている • FABRIK, Two Bone IK,, Spline IK, Leg IK, Hand IK Retargeting 手と腕はTwo Bone IK, 頭から腰はFABRIKがオススメ ちょっとした工夫で女の子らしさがアップするので、 色々試してみましょう！ #ue4fest

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

表情・指の制御について モーションコントローラやゲームパッドなどを使って 切り替える手法が一般的 #ue4fest

表情の制御について メッシュに用意された モーフターゲット の値を調整 モデルによっては 目玉の向きをボーンで制御したり テクスチャの変更で表現する場合も #ue4fest

表情(モーフターゲット)の変更方法 Set Morph Target ノード • Actor側から制御する場合 Modify Curve ノード • Animation BP の Anim Graphで制御する場合 • アニメーションエディタ上で 確認・調整しやすいのでオススメ！ #ue4fest

付録：アニメーションに表情変化を仕込む アニメーションシーケンス上で モーフターゲットを制御することが可能 Curvesからカーブで制御するか、 固定値(1)を入れるかを編集する方式 #ue4fest

#ue4fest

付録：モーフターゲットの作成・インポート 公式ドキュメント 「FBX モーフターゲットのパイプライン」 http://api.unrealengine.com/JPN/Engine/ Content/FBX/MorphTargets/index.html #ue4fest

指の制御について Pose アセットを使った実装がおすすめ！ 単一フレームのアニメーションを アニメーションカーブを使ってブレンド可能 モーフターゲットと 同じ感覚で編集・確認することが可能 #ue4fest

付録：Pose アセットがないとき… 各指の骨のTransformを Animation BPのAnim Graphで制御 BlendSpace アセットで制御 • 複数のアニメーションをブレンド • バリエーションが増えるほど 対応・調整コストが増大 #ue4fest

Pose アセットでブレンド処理を簡単実装！ Modify CurveノードでPose アセットが持つカーブを制御 あとは使用するPose アセットを通すだけ 既存のPose アセットに アニメーションの追加可能なので バリエーション対応も楽 #ue4fest

Pose アセットの作り方 アニメーションシーケンスから作成可能 • Current Pose： 現在のフレーム内容からPose アセットに作成 • Current Animation： 各フレーム毎の制御用カーブを持つ Pose アセットを作成 • Insert Pose： 現在のフレーム内容を既存Pose アセットに追加 #ue4fest

Pose Assetに関する公式ドキュメント Animation Pose アセット • http://api.unrealengine.com/JPN/Engine/Animation/AnimPose/ Pose アセットを作成する • http://api.unrealengine.com/JPN/Engine/Animation/AnimHowTo/Creat ePoseAsset/index.html Modify Curve • http://api.unrealengine.com/JPN/Engine/Animation/NodeReference/S keletalControls/ModifyCurve/ #ue4fest

付録：Pose AssetのAdditive設定 デフォルト設定では アニメーションが上書きされるので Additive を有効にしてブレンドされるように！ 公式ドキュメント「加算 vs. フルボディ」 http://api.unrealengine.com/JPN/Engine/Animation/ AnimPose/AdditivePA/index.html #ue4fest

付録：アニメーションカーブの管理に注意！ Pose Assetを使い始めると メッシュが持つアニメーションカーブが どんどん増える！ Anim Graphにてカーブを扱う際に ヒューマンエラーが発生する可能性が高くなる #ue4fest

付録：アニメーションカーブの管理に注意！ カーブの命名規則はちゃんとつけましょう！ 不要になったアニメーションカーブは削除しましょう！ • Pose Assetを削除しても 使用していたカーブは残り続けるので明示的に削除する必要あり #ue4fest

付録：アニメーションカーブの削除方法 #ue4fest

Pose Assetを使うことで、 ブレンド用のアニメーションの管理・確認・調整が楽に！ 是非ご活用ください！ #ue4fest

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

リップシンク（口パク）をリアルタイムで制御する場合 音声解析を使用する手法 • フォルマントを解析して母音を推定 • マイク以外のデバイス不要 口の動きを画像解析する手法 • カメラなどを使って、顔や口の動きを検出 • 上記の機能をサポートしたデバイスが必要 #ue4fest

簡単にVTuberになれるというコンセプトなので 音声解析の手法について紹介 #ue4fest

UE4で音声からリップシンクを推定するには Oculus LipSync (OVRLipSync) がオススメ！ • Oculus社が公開しているリップシンクライブラリ • 先日リリースされた v1.30でUE4に対応 公式サイト https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ book-audio-ovrlipsync-unreal/ #ue4fest

サンプルプロジェクト OVRLipSyncDemo 音声から唇の形状を分類した口形素（Visemes）を解析し、 その結果をモーフターゲットに適用 Viseme Reference https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ audio-ovrlipsync-viseme-reference/ #ue4fest

用意されているコンポーネント OVRLipSync コンポーネント • マイク音声からの解析 サンプル：LiveCaptureBlueprint OVRLipSyncPlayback コンポーネント • Sound Waveアセットからの解析 サンプル：PlaybackBlueprint #ue4fest

#ue4fest

付録：自身のプロジェクトで使うには？ Plugins フォルダに以下のフォルダをコピー • "LipSync¥UnrealPlugin¥OVRLipSyncDemo¥Plugins¥OVRLipSync" Config¥DefaultEngine.iniにマイクを有効にする行を追加 • [Voice] bEnabled=True #ue4fest

付録：遅延対策 音声を受け取ってから解析処理が始まるため モデルに反映されるまでに遅延が発生 • 検証環境では マイク入力+解析処理で約100msの遅延 OBSで配信する場合は、 マイクの同期オフセットを 100 に設定するといい感じ #ue4fest

ここまでのまとめ 表情・指はコントローラによる制御、 リップシンクはOVRLipSyncによる解析を使うのが VTuberでは一般的 複数の単一フレームアニメーションを使用する場合は Pose アセットを使えば実装や調整に便利！ #ue4fest

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

前提条件 配信で使用するソフトはOBS • VTuberさんの大半が使用している無料の配信用ソフト • 選択したウィンドウなどを取り込んで配信 • クロマキー合成機能がある #ue4fest

前提条件 UE4側で必要なこと • 配信に流したい画面をモニター上に表示 • 抜きたい箇所は緑で塗りつぶす #ue4fest

VRPreview時のPCモニターの画面 VRHMD, モーションコントローラを使うために VRPreviewで実行する必要がある VRHMDに映る画面が PCモニターに表示されてしまう… #ue4fest

3人称視点カメラの映像をモニターに出すためには VR Spectator Screen機能を使う • PSVRにおけるソーシャルスクリーン機能 • 指定したテクスチャをPCモニターで表示可能 VRHMDの画面 モニターの画面 #ue4fest

公式ドキュメント「VR Spectator Screen 機能」 http://api.unrealengine.com/JPN/Platforms/VR/ VRSpectatorScreen/ #ue4fest

モニタに表示するテクスチャの作成方法 Scene Capture Component 2D を使って 3人称視点カメラからの映像からテクスチャを作成可能 #ue4fest

表示するオブジェクトを制限する方法 Scene Capture Component 2Dの Show Only Actorsを使うことで、キャラクタだけを表示可能！ #ue4fest

キャラクタ以外を緑で塗りつぶす方法 • 緑色の板をキャラクタの後ろに置く <お手軽！> • ポストプロセスで表示対象か否かを判定 <調整楽！> #ue4fest

#ue4fest

処理負荷に関する注意 VR+SceneCaptureで3回レンダリングすることになるので、 油断するとすぐフレームレート下がります… • 動画の印象に影響するのもありますが、 物理挙動にも影響するので注意する必要があります SceneCapturecomponent2Dには、 描画に関する要素毎にONOFFできる機能があるので活用！ #ue4fest

#ue4fest

VR内でも配信画面を確認できるように SceneCaptureComponent2Dを使って 生成・更新したテクスチャを表示するメッシュを配置 • テクスチャを表示するマテリアルを適用した 平面のメッシュを置くだけ！ #ue4fest

演者が確認する画面についての注意 左右反転しないと演技が大変になります！ • つまり、鏡にしないといけない • テクスチャに渡すUV座標のX座標を反転するか、 平面モデルなら裏向きにすればいい #ue4fest

ここまでのまとめ VR Spectator Screen 機能と Scene Capture Component 2Dを併用することで OBSで配信するための画面を簡単に作れる！ #ue4fest

VTuberとして動画配信する準備が ついに整いました！ 標準機能とBlueprintしか使ってないので 誰でも簡単にできちゃいます！ #ue4fest

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

動画作成もVTuberの重要な活動の一つ！ 配信用の画面を そのまま録画する手もあるけど… UE4のシーケンスレコーダー機能や シーケンサーの動画出力機能を活用すれば、 色んなメリットを得られます！ #ue4fest

どんなメリットがあるの？ よりリッチなグラフィック・表現を追加可能！ • UE4の性能をフルに活かせる！ 高解像度の動画を作成可能！ • 4K + 60fpsの動画も夢じゃない！ 連番画像で出力できる！ • 動画編集ソフトを使う上で色々と便利！ #ue4fest

使うしかないっしょ！ #ue4fest

シーケンスレコーダー 録画開始から終了までの キャラクタのアニメーション、パラメータ変更などを 全て記録したカットシーンを作成する機能 #ue4fest

シーケンスレコーダーの良い所 カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる！ #ue4fest

シーケンスレコーダーの良い所 カメラの角度 変えてみようか！ カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる！ #ue4fest

シーケンスレコーダーの良い所 やっぱり カメラの角度 帽子はいるよね！ 変えてみようか！ カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる！ #ue4fest

シーケンスレコーダーの良い所 やっぱり カメラの角度 芸術は爆発だ！ 帽子はいるよね！ 変えてみようか！ カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる！ #ue4fest

シーケンスレコーダーの良い所 物理やフェイシャルの変化も含めた アニメーションアセットを作成してくれる！ アセット化することで用途が広がる！ • 例：ライブ配信のVRアーカイブ #ue4fest

シーケンスレコーダーの良い所 シーケンサの機能から 動画・連番画像をすぐ出力できる！ #ue4fest

シーケンスレコーダーによる録画の開始/停止 左上にあるRecordボタンを押すか、 録画開始/終了用のコマンドを使う • RecordSequence • StopRecordSequence 公式ドキュメント「シーケンスレコーダー」 http://api.unrealengine.com/JPN/Engine/ Sequencer/Workflow/SequenceRecorder/ #ue4fest

ここまでのまとめ UE4の標準機能だけで、 VTuberとして活動する上で必要な要素・機能を実装可能！ キャラクタに魂を入れるための一工夫や 差をつける為のクオリティアップも、 UE4が持つ様々な機能が手助けしてくれる！ #ue4fest

サンプルプロジェクトを公開しました！ https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください！ #ue4fest

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた！ #ue4fest

個人レベルの限界を目指すに至った経緯 思ってたよりも VTuberに必要な要素を簡単に作れてしまった… 講演時間 70分… どうやって時間埋めよう…うーん… #ue4fest

個人レベルの限界を目指すに至った経緯 ちょうど偶然 Vive Trackerを5台ほど持ってるし 行ける所まで行っちゃうか！ #ue4fest

2週間後・・・ #ue4fest

#ue4fest

＼どうしてこうなった／ #ue4fest

残りの時間で話す内容 1. UE4 と フェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

iPhoneX Appleが販売している 高性能なフェイシャル(表情)キャプチャを行えるデバイス すまーと…ふぉん…？ なにそれおいしいの？ #ue4fest

iPhoneXとUE4の連携 iPhoneXで検出した表情データが Wifi経由でエディタに送信される仕組み 追加するノードは1個だけ！ #ue4fest

Live Linkについて 外部ソフト・デバイスから送信されたアニメーションデータを エディタ上でリアルタイムに確認できる機能 公式ドキュメント「Live Link Plugin」 https://docs.unrealengine.com/en-us/Engine/ Animation/Live-Link-Plugin #ue4fest

iPhoneXがあれば簡単に試せる！ Face AR Sample • Epic Games Launcherより無料でDL可能！ 公式ドキュメント https://docs.unrealengine.com/enus/Platforms/ AR/HandheldAR/FaceARSample 以前に書いたブログ記事 http://pafuhana1213.hatenablog.com/ entry/2018/07/27/214314 #ue4fest

ぷち考察 1 「全ての検出情報に対応する必要はない！」 検出情報に対応すればするほど キャラクタの方向性に合わないケースがある • 不気味の谷現象が起きる可能性も 使用する検出情報を 取捨選択することが大事！ • ツバキちゃんの場合 口、目（開閉、目線）、眉のみ使用 #ue4fest

ぷち考察 2 「キャラクタに合う形で誇張、補正すべし」 極端な細目はかわいくない！ 一定値を超えたら、閉じるように補正するとかわいくなる！ #ue4fest

ぷち考察 3 「目と表情の細かい動きによる感情表現」 目や表情の演技が反映されると キャラクタが生きてる感がぐっと上がります！ コントローラによる切り替えや 自動制御では難しい 細かな感情表現が可能！ #ue4fest

表情による演技・表現の幅がぐっと引き上がります！ さらに「コントローラによる表情切り替え」 や 「OVRLipSyncによるリップシンク」 と併用して、互いの弱点を補間！ #ue4fest

キャラクタの見た目・方向性と要ご相談 不気味の谷現象の回避 • 得た情報をそのまま使うのではなく、 キャラクタのことを考慮した取捨選択・補正が大事！ アニメ寄りの表現の場合は特に注意 • キャプチャ情報は少しの味付けぐらいがいいのかも？ • メリハリ効かせたり、フレームレート間引いたりなどが重要 #ue4fest

残りの時間で話す内容 1. UE4 と フェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

LeapMotion と Hi5 VR Glove Leap Motion • 手と指の動きをトラッキング • 赤外線センサ Hi5 VR Glove • 指の動きをトラッキング • 慣性センサ #ue4fest

もちろん、どちらもUE4に対応済み！ Leap motion Hi5 VR Glove (Live Linkに対応して欲しい…) #ue4fest

フィンガートラッキング系のデバイスを使うことで 演者の動きがより反映されるため、 キャラクタの表現の幅がぐっと引き上がる！ • プリセットの切り替え・ブレンドでは難しい #ue4fest

フィンガートラッキング系のデバイスを使うことで 手のモーションを簡単に作成可能！ • DCCツールを使わずに UE4 x デバイス x 自分の指で作成 Live Linkと アニメーション録画機能を活用！ • • アニメーションエディタの録画ボタン シーケンスレコーダー #ue4fest

残りの時間で話す内容 1. UE4 と フェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

IKinema Orion Vive, Viveコントローラ, Vive Trackerによる 6点 or 8点のトラッキングポイントを用いた モーションキャプチャシステム #ue4fest

足 肘 腰 #ue4fest

じゃーん #ue4fest

IKinema Orion は素晴らしい！ かなりの精度で演者の動きを再現！ • オッサンっぽい動きも再現するので 女の子の気持ちになって動こう！ さらに • 手頃なお値段 • お手軽セットアップ • 広いスペースを必要としない #ue4fest

IKinema OrionとUE4の連携 追加するノードは一つだけ！ Live Linkにも対応済み！ IKinema 公式ドキュメント https://ikinema.com/index.php? mod=documentation&show=317 #ue4fest

おまけ： UE4のとある機能と併用してみた Composure機能 Virtual Camera機能 キャラクタの影を落とすAR iPhone, iPadが手持ちカメラに！ #ue4fest

ここまでのまとめ 個人レベルでも手に入る モーション・フェイシャルキャプチャ用のデバイスを紹介 （ギリギリ） 既存のUE4プロジェクトへの 対応コストはほんの僅か！すぐ試すことができる！ UE4には他にも色んな機能があります！ それらと組み合わせれば可能性は無限大！ #ue4fest

最後のまとめ VTuberをこれから始めてみたいという方へ UE4の標準機能だけで実現可能です！ クオリティを追求したい方へ UE4の様々な強力な機能がお助けします！ デバイスで色々してみたい方へ 沼へようこそ！ 少ない導入コストですぐ試すことができますよ！ #ue4fest

本当の本当の最後に ツバキちゃんのモデルは 株式会社Indie-us Games様より アセットをお借りしました マーケットプレイスにて 販売予定ですのでお楽しみに！ #ue4fest

質問などありましたら、彼女へどうぞ！ ご清聴ありがとうございました！ 自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_Vtuber) #ue4fest