【論文サーベイ】Stochastic Differential Equations and Diffusion Models

2.9K Views

October 25, 23

スライド概要

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

Stochastic Differential Equations and Diffusion Model Keyword ● ● ● SDE: Stochastic Differential Equations SDEdit (inverse problem) 1

2.

Summary 2

3.

Stochastic Differential Equations and Diffusion Model Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 3

4.

Background (1/3) Diffusion Model 4

5.

Background (2/3) 確率微分方程式 (SDE) SDEは次式で与えられる ウィーナー過程はあらゆる点で微 分不可能 5

6.

Background (3/3) 拡散モデルで扱うSDE 6

7.

Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] 7

8.

連続化すると何が嬉しい ? Flexible sampling and likelihood computation - 様々なSDE-solverを使うことができ,サンプリング効率を上げられる - ODEに変換できる (後述) Controllable Generation - unconditionalなモデルに対して,scoreを使ってcondition可能 - classifier guidanceのような手法を用いてconditionを強くできる - class-conditional generation, inverse problemに対して応用できる 8

9.

DDPMからSDEの導出 (Forward SDE) DDPMのForward と変換 9

10.

DDPMからSDEの導出 (Forward SDE) DDPMのForward SDE 10

11.

DDPMからSDEの導出 (Forward SDE) SDEの形 DDPMのForward SDE 11

12.

DDPMからSDEの導出 (Reverse SDE) 導出 ※証明は省略 12

13.

Euler-Maruyama法によるサンプリング 区間を再び離散化 Reverse SDE 13

14.

評価 14

15.

(余談) ODE化すると ? Exact likelihood computation - 次式で対数尤度を正確に評価できる Manipulating latent representations - データ点 を潜在空間 に射影できる - 再構成を使って正確に画像編集ができる 15

16.

(余談) 実験結果 16

17.

SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] 17

18.

FaithfulとRealisticの間のトレードオフ ノイズ 小 大 18

19.

先行手法: GAN inversion Diffusion GAN inversion 手の情報が消滅 DiffusionCLIP [G. Kim, 2022] 19

20.

評価 sample from stroke stroke-based edit 20

21.

Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 21

22.

評価 22

23.

評価 23

24.

評価 24

25.

Summary 25