[Dl輪読会]semi supervised learning with context-conditional generative adversarial networks

論文紹介: Semi-supervised learning with context-condi8onal genera8ve adversarial networks ICLR’17 under review Emily Denton et, al. 1

書誌情報 • Semi-supervised learning with context-condi8onal genera8ve adversarial networks • Emily Denton (NYU), Sam Gross , Rob Fergus (Facebook AI Research) • ICLR’17 under review • pdf: hPp://openreview.net/pdf?id=BJ--gPcxl 2

内容 • GANによるinpain8ng (画像復元) を応用した semi-supervised learning手法 • 基本的に既存手法の組み合わせ 3

関連研究: Context Encoder (CVPR’16) • Pathak et al. (2016) – hPps://people.eecs.berkeley.edu/~pathak/context_encoder/ 4

関連研究: Context Encoder (CVPR’16) • Pathak et al. (2016) – hPps://people.eecs.berkeley.edu/~pathak/context_encoder/ x: image F: context-encoder M: binary mask L2 Loss Adversarial Loss Discriminatorは条件付けない (マスク境界で判断するように学習させないため) c.f. GAN: Joint Loss 5

提案手法 (1) • CC-GAN (Context-Condi8onal GAN) Context-encoderとの違い: context-encoder → inpain8ngに適した特徴量 提案手法 → real/fake inpain8ngの区別に適した特徴量 x: image m: mask CC-GAN^2 (generatorで生成した画像 をマスクしないものも入れる) 6

提案手法 (2) • Semi-supervised learning with CC-GAN (SSL-GAN) ラベル有りデータの場合は classifica8on lossも出す Radford et al. (ICLR’16) 7

ネットワーク構造 8

実験結果 : STL-10 STL-10 : 96x96. 10カテゴリ, 各カテゴリにラベル付き1,000枚画像，その他100,000枚画像 CC-GAN : 96x96から64x64をrandom crop, holeは32x32 9

実験結果 : PASCAL VOC PASCAL VOC 2007: 20クラス，5011枚 CC-GAN : 128x128, hole 64x64, low resolu8on 32x32 10

実験結果 : Inpain8ng 11

実験結果 : Inpain8ng 12

まとめ • context-condi8onalなGANを用いたsemi-supervised learning 手法の提案 – 当然inpain8ngもできる – ただしinpain8ng自体はcontext-encoderの方が良い結果 が得られる (たぶん) 13