[DL輪読会]Variational Autoencoder with Arbitrary Conditioning

DEEP LEARNING JP [DL Papers] “Variational Autoencoder with Arbitrary Conditioning (ICLR2019)” Naoki Nonaka http://deeplearning.jp/ 1

• http://deeplearning.jp/

目次  •  •  • • • 
 

 2

書誌情報 • ��A��������������������������� • ��A������������� �������������������������C �����������������C 

 3

背景 これまでの深層生成モデル: p(x)やp(x|y)をモデル化 をモデル化 n U: 全特徴量の集合 n I : Uの任意の部分集合 応用先：特徴量の補完，画像のinpainting 

 4

提案手法 再構成誤差 潜在変数z，欠損のある入力 と欠損させた部位の情報 

 KL Divergence 欠損のない入力(元データ) と欠損させた部位の情報 欠損のある入力と 欠損させた部位の情報 5

提案手法 観測されていない変数の情報 観測されていない変数（求めたい変数） 観測された変数（入力として与えられる） 観測されない変数の位置についての確率分布 求めたい分布（観測値から欠損を予測） 実際に求める分布（ψおよびθでパラメータ化） 

 6

提案手法 VAE (Kingma & Welling, 2013) CVAE (Sohn et al. 2015) VAEAC (This paper) Prior Encoder Decoder 

 7

提案手法 再構成誤差 潜在変数z，欠損のある入力 と欠損させた部位の情報 

 KL Divergence 欠損のない入力(元データ) と欠損させた部位の情報 欠損のある入力と 欠損させた部位の情報 8

提案手法 事前分布 nΨによりパラメータ化される分布には正則化項が存在しない n学習に安定しない可能性がある（Numeric Instability） Gamma-Normal priorを事前分布のパラメータに対して置く 

 9

提案手法 元々データに欠損値が存在する場合 （これまでは学習に用いるデータは欠損がないという前提） n p(b)をp(b|x)に変更 n ωを元々欠損しているデータ点として，再構成誤差を以下のように変更 

 10

実験
p;6419
n19":+%./
n19'&!#$)7*8":+%./

p   
n

 
 ",3

n-(25

"0<

p  
   "0<




11

実験 欠損させた値を補完した場合の精度比較 => 提案手法が最も良い結果となった 

 12

実験 欠損させた値を補完したデータを用いた回帰・分類の精度 => 提案手法が最も良い 

 13

実験 一つの画像から複数パターンのinpaitingが可能 

 14

実験 2つの先行研究と比較 n Context Encoder(Pathak et al., 2016) n SIIDGM(Yeh et al., 2017) （指標はPSNR; ピーク信号対雑音比，画像の劣化の指標） 

 15

実験 Universal Merginalizer (UM)(Douglas et al., 2017)との比較 （UMは一つのNNで観測されていない点の周辺分布を求める手法） n VAEACの方が学習に時間を要するが，テスト時は高速 （VAEとPixelCNNの関係に似ているとのこと） n UMで学習できないが，VAEACではできる場合が数多くある（らしい 

 17

結論
n.&1*/2-+)
n+)#$
%

954370;  

2  :(!

n6'#$8



"

,





19