【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations

DEEP LEARNING JP [DL Papers] SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations Takeru Oba, Ukita Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 タイトル：SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations 著者：Chenlin Meng Yutong He Yang Song Jiaming Song Jiajun Wu Jun-Yan Zhu Stefano Ermon 会議：ICLR. 2022 2

• https://cs.stanford.edu/~chenlin/
• http://web.stanford.edu/~kellyyhe/
• https://yang-song.github.io/
• http://tsong.me/
• https://jiajunwu.com/
• https://www.cs.cmu.edu/~junyanz/
• https://cs.stanford.edu/~ermon/

概要 タスク：人のスケッチなどのガイドに基づいた画像編集 例：スケッチから画像に 入力 出力1 例：合成画像を綺麗に 出力2 元画像 眼鏡を 貼り付け （入力） 出力 従来の問題：編集の種類ごとに再学習をする必要がある 提案手法：stochastic differential equations model(SDEs)やDiffusionを利用 して再学習なしに，様々な編集を実現 3

関連研究（SDEs, Diffusion) SDEsやDiffusionとは（ざっくり）： ガウシアンノイズから徐々にノイズを除去することで綺麗な画像を生成 するモデル．SDEsは𝑡が連続，Diffusionは𝑡が離散． 𝑥𝑇 ⋯ 𝑥𝑡 ノイズ除去をモデルが学習 𝑥𝑡−1 ⋯ ノイズ除去 (Reverse Diffusion Process) 𝑥0 4

提案手法 提案手法のアイデア： “スケッチ画像”と“目的の画像”はノイズを加えるとほとんど同じになる． この画像のノイズを除去していくと綺麗な画像が出力される． 𝑥𝑡 ノイズにより ほとんど同じ画像に 𝑥𝑡−1 ⋯ ノイズ除去 (Reverse Diffusion Process) 𝑥0

Faithful vs Realistic 元画像に対する忠実さ（Faithful)と現実らしさ(Realistic)の トレードオフが画像編集にはある． SDEditでは，ノイズの大きさ（ステップ数）によってコントロールする 6

実験結果 赤丸が注目領域 7

実験結果 忠実さ （元画像との誤差） 現実らしさ (mechanical turkで SDEditとどちらが良いかを選択） 現実らしさ （指標の一つ） すべての項目でSDEditが勝利 8

実験結果 9

実験結果 ノイズによって結果が変わる 多様な編集が可能 10

まとめ まとめ Diffusionモデルを利用して，様々な種類の画像編集をタスクごとの再学習なしで実 現．非常にシンプルだが，従来手法を上回る精度を実現． 所感 異常画像にノイズを加えて，Denoiseしたら正常画像が出てきそうなので異常検知 にも使えそうと思いました． その他 3Dモデル生成[1]やShared Autonomy[2]でも，似たような処理をしているので，参考にな るかもしれません． [1] Wang, Haochen, et al. "Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation.” [2] Takuma Yoneda, et al. “To the Noise and Back: Diffusion for Shared Autonomy.” 11