[DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

>100 Views

May 19, 17

スライド概要

2017/5/19
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling 19 May, 2017 M2 杉原 祥太

2.

書誌情報 • 著者: Xiaoguang Han, Chang Gao and Yizhou Yu • The University of Hong Kong • Proceedings of SIGGRAPH 2017 • https://www.youtube.com/watch?v=93WZHKYxqtM 2

3.

概要 • 顔のスケッチから3Dモデルを対話的に⽣成するシステム • CNNと全結合層を組み合わせた 3

4.

背景 • 顔のモデルは個⼈や表情によって多様である. • 少ない労⼒で⽣成できたら嬉しい • Contributions • 3D顔モデルのための画期的なシステムの提案 • CNNとBilinear modelの組み合わせ • 顔モデル拡張 4

5.

関連研究 • Data-drivenなスケッチによるモデル⽣成 • ⼊れ物,⽊など(Huang et al. 2016), 建物(Nishida et al. 2016) • インタラクティブ性,ネットワークの新規性,データの⾮公開 • Morphableな顔モデル • CNN以外からも形状の特徴を得ているので,推定がより正確 • 3D顔カリカチュア • 2Dスケッチから3D顔カリカチュアは本研究初 • スケッチベースのモデリング • スケッチの線だけでなく,Deepから3D座標を推測して制約条件に 5

6.

提案システム • 3つのインタラクションモードがある. • 1. Initial Sketching Mode • 描いたスケッチがそのまま3Dモデルへ • 2D投影と3Dモデルの形状は正確には⼀致しない • 2. Follow-up Sketching Mode • 線を修正していく • 適宜スケッチとモデルを切り替えられる • 3. Gesture-Based 3D Face Refinement • ジェスチャーで編集 6

7.

データベースの構築 • 3Dモデル • Chao et al. 2014 のデータベースを拡張 • 15000個 (150⼈×表情25通り×誇張4段階) • 2Dスケッチ • 雛形にあらかじめ線を定義しておき,線をレンダリング • ⼿書きスケッチを2000枚⽤意した 7

8.

Bilinear Morphable Representation • Cao et al. 2014のアイデア • 顔のデータベースを3階テンソル𝑇で表現する • 𝑇(11500頂点, 600⼈, 表情25通り) • 𝑇を特異値分解 • • • • • • 𝑇×# 𝐔×% 𝐔 = 𝐶 , 𝐶はcore tensor, + ×% 𝐔 + 𝑇 ~ 𝐶* ×# 𝐔 𝐶* は左上⾓を保存したcore tensor 𝑉 = 𝐶×# 𝑢. ×% 𝑣 . 個⼈,表情を表すベクトル𝑢, 𝑣 8

9.

ネットワーク構成 • 上はAlexNetと⼀緒 (ReLU, Softmax) • 𝑢, 𝑣を別々に計算したいため,FC Layersで異なるネットワークを⽤いる. 𝑢が⼤きい • 輪郭を捉えるため,Shape-level InputでBilinear modelを使う 1 • Loss関数: 𝐸 = ∑5 𝑤5 𝐶5 ×# 𝑢. ×% −𝑔5 # , 𝑔5 はground truth 2 9

10.

学習の流れ • Classifier training • Identity, expressionと⼀致するよう学習 • 𝑢 − 𝑣 regression • 𝑢, 𝑣をLoss関数が⼩さくなるよう学習 • Final tuning • 内挿して10000データを増やす. • 10%をテストデータに 10

11.

実験 • Iterations • Classifier training : 500,000 • 𝑢 − 𝑣 regression: 800,000 • Final tuning: 500,000 • Learning rate: 0.00001, mini-batch size: 50 • Momentum: 0.9, weight decay: 0.00005 11

12.

結果 12

13.

結果 • モデル⽣成時間 • Laplacianとの⽐較 • (b)が提案⼿法 13

14.

結果 • 検証 • 38⼈×12問 • どちらがより⾃然でスケッチに 忠実か 14

15.

結果 • ZBrushとの⽐較 • 10分で未経験者でもプロと似たようなモデルが作れる 15

16.

結果 • ⼿法の⽐較 • • • • PixelShapeCNN(提案) PixelCNN(CNNのみ) ShapeNN(2Dbilinearのみ) PixelCNN-Wrinckle(w/o wrinckle) • PixelCNNSingle (u,v同⼀の ネットワーク) 16

17.

Limitations 17