2.9K Views
October 25, 23
スライド概要
Stochastic Differential Equations and Diffusion Model Keyword ● ● ● SDE: Stochastic Differential Equations SDEdit (inverse problem) 1
Summary 2
Stochastic Differential Equations and Diffusion Model Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 3
Background (1/3) Diffusion Model 4
Background (2/3) 確率微分方程式 (SDE) SDEは次式で与えられる ウィーナー過程はあらゆる点で微 分不可能 5
Background (3/3) 拡散モデルで扱うSDE 6
Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] 7
連続化すると何が嬉しい ? Flexible sampling and likelihood computation - 様々なSDE-solverを使うことができ,サンプリング効率を上げられる - ODEに変換できる (後述) Controllable Generation - unconditionalなモデルに対して,scoreを使ってcondition可能 - classifier guidanceのような手法を用いてconditionを強くできる - class-conditional generation, inverse problemに対して応用できる 8
DDPMからSDEの導出 (Forward SDE) DDPMのForward と変換 9
DDPMからSDEの導出 (Forward SDE) DDPMのForward SDE 10
DDPMからSDEの導出 (Forward SDE) SDEの形 DDPMのForward SDE 11
DDPMからSDEの導出 (Reverse SDE) 導出 ※証明は省略 12
Euler-Maruyama法によるサンプリング 区間を再び離散化 Reverse SDE 13
評価 14
(余談) ODE化すると ? Exact likelihood computation - 次式で対数尤度を正確に評価できる Manipulating latent representations - データ点 を潜在空間 に射影できる - 再構成を使って正確に画像編集ができる 15
(余談) 実験結果 16
SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] 17
FaithfulとRealisticの間のトレードオフ ノイズ 小 大 18
先行手法: GAN inversion Diffusion GAN inversion 手の情報が消滅 DiffusionCLIP [G. Kim, 2022] 19
評価 sample from stroke stroke-based edit 20
Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 21
評価 22
評価 23
評価 24
Summary 25