【Diffusion勉強会】Is Noise Conditioning Necessary for Denoising Generative Models

“Is Noise Conditioning Necessary for Denoising Generative Models?” Daiki Miyake, Matsuo Lab, M2 1

書誌情報 • タイトル Is Noise Conditioning Necessary for Denoising Generative Models?” (ICML2025) • 著者 Qiao Sun, Zhicheng Jiang, Hanhong Zhao, Kaiming He (MIT) • リンク – arXiv https://arxiv.org/abs/2502.13129 2

• https://arxiv.org/abs/2502.13129

概要 • Diffusion Modelにおいて、時刻情報はニューラルネットにとってどれくらい大事 なのか？ 3

定式化 • 時刻 での潜在変数 • 学習するターゲット • 目的関数 DDIMだと、 • サンプリング Flow Matchingだと、 4

学習ターゲット • 目的関数の最小値を • 目的関数 とする を最小にするのは、 • 時刻 をニューラルネットに与えなければ、学習するターゲットも時刻で周辺化 したものになる • もし がデルタ分布であれば、時刻ナシで学習しても時刻アリで学習させて も同じ結果になるはず 5

の解析 • Flow Matchingの場合、 の分散を導出することができる ただし、 はデータ次元で、 を満たすとする • 実験的にも整合してそう 6

エラー解析 • 時刻条件アリナシで学習ターゲットがどれくらい変わるか？ • Flow Matchingの場合、理論的に導出でき、誤差はかなり小さい はデータの分散 7

エラー解析 • サンプリングの際の累積誤差も考える 時刻アリ/ナシでの サンプリングの式 累積誤差 リプシッツ定数 1ページ前で考えていたエラー 8

実験結果 • CIFAR-10で学習 時刻情報を入れないと、ちょっと悪くなる DDIM・ODEサンプラーだと、かなり悪くなる Flow Matchingだけ入れない方が良い 9

実験結果 • 時刻を入れないと、ノイズが残った画像だけでなく、色味がおかしい画像が生成 される傾向がある 10

分析 • 累積誤差がどう変化するか？ (ODEサンプラーで解いた場合) • DDIMだと、ノイズに近いところで 誤差が大きくなる • SDEで解いた場合には、ノイズが 加わる分、累積誤差がキャンセル される？と考察している 11

Ablation • 時刻を予想するネットワークを 明示的に追加した場合で実験 (b)はpretrain、(c)は教師なしでtrain • 直接時刻を与える(a)以外は 同じような結果に • (b)であっても不確かな時刻が 与えられることになる 時刻の不確実性が重要？ 12

まとめ • Diffusion Modelにおいて、時刻情報をニューラルネットに入れることの重要性に ついて調査した • (Flow Matchingにおいては)時刻はそんなに重要でないことが理論的に示せる • 時刻を入力しないで学習させてみると、DDIM等は悪くなり、Flow Matchingだけ良 くなる • エネルギーベースモデルでのエネルギーは時刻に依存しないため、そのあたりと 関連するのではないか？ 13