[DL Hacks 実装]Photographic Image Synthesis with Cascaded Refinement Networks

Photographic Image Synthesis with Cascaded Refinement Networks arXiv:1707.09405 Leo Tsukada DL Hacks 2017/12/04 DL HACKS 論文紹介 1 /34

テーマ Photo synthesis ▸ Motivation Semantic segmentation ▸ CG -> 光の反射などによる見え方の計算を短縮 ▸ mental imagery & simulation -> 効率的な学習への鍵？ topic DL HACKS 論文紹介 2 /34

背景 ▸ GANを用いた画像生成 Goodfellow et al. MNISTの画像生成(32*32) Denton et al. multiple separate GAN(?) 96*96 の解像度 Radfold et al. modifications and heuristics to solve instability、128*128の解像度 Mode collapseなどの問題により、 学習が困難な場合がある DL HACKS 論文紹介 3 /34

背景 ▸ Isola et al. Conditional GAN cityscape の画像生成 DL HACKS 論文紹介 4 /34

概観 ▸ Cascaded Refinement Networks (CRN) 3×3conv ReLU c + di−1 channels 3×3conv ReLU di channels DL HACKS 論文紹介 di channels 5 /34

概観 ▸ Cascaded modules wi × hi × di wi+1 × hi+1 × di+1 = 2wi × 2hi × di+1 bilinear upsampling wi+2 × hi+2 × di+2 = 4wi × 4hi × di+2 bilinear upsampling ▸ photorealismの上で鍵となる概念 Global Coordination : 広い領域での規則性、feature matchingで実現 high resolution : 段階的に2倍ずつ高めていくことで実現 Big capacity : 画像生成の汎用性を高めるには多くのパラーメータ領域が必要 DL HACKS 論文紹介 6 /34

学習 ▸ 1対多の対応問題 最終的な画像のみをground truthとするのは、厳しすぎる 既存のCNNの中でfeature matchingを行い あらゆる特徴量でロスを算出する。 DL HACKS 論文紹介 7 /34

学習 l : conv1-2, conv2-2, conv3-2, conv4-2, conv5-2 λl : hyper parameters g(L; θ ) :synthesized image I : the reference image DL HACKS 論文紹介 8 /34

VGG-19 … reference … … … … fake DL HACKS 論文紹介 9 /34

VGG-19 … reference … … … … fake e2 e1 e3 e4 DL HACKS 論文紹介 e5 10 /34

Synthesizing a diverse collection e2 c枚 j番目 reference fake DL HACKS 論文紹介 l=2 11 /34

実験 ▸ semantic segmentation のネットワークで評価できない？ 評価関数を最大化するようにいじれば簡単に騙される Amazon Mechanical Turkで人に任せる！ DL HACKS 論文紹介 12 /34

実験1 ▸ 今回開発したCRNと他のベースラインをランダムにペア ▸ 時間無制限で比較 ※%は比較したベースラインより、 CRNの方がrealisticだと答えた割合 DL HACKS 論文紹介 13 /34

実験1 ▸ 今回開発したCRNと他のベースラインをランダムにペア ▸ 時間無制限で比較 DL HACKS 論文紹介 14 /34

実験2 ▸ Pix2pixや本物の写真と比べる ▸ 制限時間を0.125~8sで設ける DL HACKS 論文紹介 15 /34

論文まとめ ▸ cascaded modeleで解像度を段階的に上げていった ▸ 誤差関数としてVGG19を用いて、feature matching ▸ さらにoutputの多様性を許すために、diversity lossを設定 ▸ 結果、めっちゃリアリスティック DL HACKS 論文紹介 16 /34

学習結果 ▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch) DL HACKS 論文紹介 17 /34

学習結果 ▸ Qifeng et alによる学習済みモデル(3000枚*100 epoch) DL HACKS 論文紹介 18 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 19 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 20 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 21 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 22 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 23 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 24 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 25 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 26 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 27 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 28 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 29 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 30 /34

学習結果 ▸ CPUだけで頑張って学習(100枚*200 epoch) DL HACKS 論文紹介 31 /34

learning rateの違いを比較 DL HACKS 論文紹介 32 /34

Small error makes it realistic? epoch 150 epoch 185 DL HACKS 論文紹介 33 /34

まとめ・感想 ▸ CRNの学習過程は確認できた。 ▸ 学習時間かかりすぎ…. ▸ GPUわからん ▸ データの多様性が重要？ ▸ 次はPytorch頑張る DL HACKS 論文紹介 34 /34