【生成Deap Learning 第2版】8.1~8.2.5

第8章 拡散モデル 前半 工学部B3 野村 0

アジェンダ ◼ 順方向のノイズ付加 ◼ 逆方向のノイズ付加 1

拡散モデルの概要 1. 元画像からstepごとにノイズ付加 2. ノイズ画像からNNを用いて画像からノイズ除去 2

順方向ノイズ付加 画像を正規化(平均0,分散1)して、ステップごとにノイズ画像(標準正規分布)に近づけていく！ 1. 𝑥0 を正規化 2. 𝑥𝑡 より𝑥𝑡+1 を取得: 以下の確率変数の性質より常に平均0,分散1 画像を特徴量ベクトルとみなした時のノイズ付加q(確率変数;平均;分散): 3

順方向ノイズ付加 1stepごとではなく、直接 𝑡 step先のノイズ付加を出力したい！ ノイズ付加の式を再帰的に適用して𝑡回適用 𝛼𝑡 = ෑ(1 − 𝛽𝑖 ) 4

スケジューリング 前ステップとノイズの加算に関する𝛽𝑡 , 𝛼𝑡 = ς(1 − 𝛽𝑖 )について、 線形拡散スケジューリング、コサイン拡散スケジューリング、オフセット付き拡散スケジューリング 5

スケジューリング 各方式での元画像とノイズの比率 ->元画像𝑥0 からダイレクトに 𝑡 stepに直に生成 ノイズ 元画像 𝛼𝑡 = ෑ(1 − 𝛽𝑖 ) 6

逆方向の拡散過程 ステップ数を与えて、そのノイズを予想するモデル(Unet)を実装、訓練 Noise signal 比率 7

指数平滑移動平均(EMA) Modelは通常のネットワーク重みとEMA Modelの2つを有している 𝜃𝐸𝑀𝐴,𝑡 = 𝛽 𝜃𝐸𝑀𝐴,𝑡−1 + 1 − 𝛽 𝜃𝑡 • 𝜃𝑡 : 通常のネットワークの重み • 𝜃𝐸𝑀𝐴,𝑡 :EMAモデルの重み • 𝛽 : 平滑化係数(1に近い値) 8

notebook colab (前半の関連部分のみ抜き出し) 9

• https://colab.research.google.com/drive/1SpFSUWGKa7KZJDqZ_ZdshBhvhFx1OQqP?usp=sharing