拡散モデル

Deep learning algorithm

機械学習において、拡散モデル（拡散ベースの生成モデル、スコアベースの生成モデルとも呼ばれる）は、潜在変数 生成モデルの一種である。拡散モデルは、順方向拡散プロセスと逆サンプリングプロセスという2つの主要コンポーネントから構成される。拡散モデルの目的は、与えられたデータセットの拡散プロセスを学習し、元のデータセットと同様に分布する新しい要素を生成できるようにすることである。拡散モデルは、拡散プロセスによって生成されたデータをモデル化し、新しいデータはすべての可能なデータの空間をドリフトしながらランダムウォークを実行する。 ^[1]訓練された拡散モデルは、さまざまな方法でサンプリングすることができ、効率や品質が異なる。

同等の形式論としては、マルコフ連鎖、ノイズ除去拡散確率モデル、ノイズ条件付きスコアネットワーク、確率微分方程式などが挙げられます。^{[2]これらは通常、}変分推論を用いて学習されます。^{[3]ノイズ除去を担うモデルは通常、「バックボーン」と呼ばれます。バックボーンの種類は問いませんが、通常は}Uネットまたはトランスフォーマーです。

2024年現在^[update]、拡散モデルは主にコンピュータビジョンのタスクに利用されており、画像ノイズ除去、インペインティング、超解像、画像生成、動画生成などが含まれます。これらのタスクでは、典型的には、ガウスノイズでぼやけた画像をニューラルネットワークに逐次的にノイズ除去するように学習させます。^{[1] [4]}このモデルは、画像にノイズを追加するプロセスを逆にするように学習されます。収束するまで学習した後、ランダムノイズで構成された画像から始めて、ネットワークを反復的に適用することで画像生成に使用できます。

拡散ベースの画像生成器は、安定拡散やDALL-Eなど、商業的に広く関心を集めています。これらのモデルは通常、拡散モデルとテキストエンコーダやクロスアテンションモジュールなどの他のモデルを組み合わせることで、テキスト条件付き生成を可能にします。^[5]

コンピュータビジョン以外にも、拡散モデルは自然言語処理^[6] 、例えばテキスト生成^[7]や要約^[8]、音声生成^{[9] 、強化学習[10] [11]}などにも応用されています。

ノイズ除去拡散モデル

非平衡熱力学

拡散モデルは、非常に複雑な確率分布からサンプリングできるモデルを訓練する方法として2015年に導入されました。このモデルでは、非平衡熱力学、特に拡散の手法が用いられました。^[12]

例えば、自然発生的な写真の分布をどのようにモデル化できるかを考えてみましょう。各画像はすべての画像空間における点であり、自然発生的な写真の分布は空間における「雲」です。画像にノイズを繰り返し加えることで、雲は画像空間の残りの部分に拡散し、最終的にはガウス分布 とほとんど区別がつかなくなります。この拡散を近似的に元に戻すモデルを用いて、元の分布からサンプルを採取することができます。これは「非平衡」熱力学で研究されています。これは、最終的な分布とは異なり、初期分布が平衡状態ではないためです。 ${\displaystyle {\mathcal {N}}(0,I)}$

平衡分布はガウス分布で、確率密度関数 である。これは、温度1におけるポテンシャル井戸内の粒子のマクスウェル・ボルツマン分布に等しい。初期の分布は平衡状態から大きく外れているため、平衡分布に向かって拡散し、純粋なランダム性（ブラウン運動のような）とポテンシャル井戸の勾配降下法を合わせた、偏ったランダムステップを形成する。このランダム性は必要不可欠である。粒子が勾配降下法のみに従うと、すべての粒子が原点に落ち込み、分布が崩壊してしまうからである。 ${\displaystyle {\mathcal {N}}(0,I)}$ ${\displaystyle \rho (x)\propto e^{-{\frac {1}{2}}\|x\|^{2}}}$ ${\displaystyle V(x)={\frac {1}{2}}\|x\|^{2}}$

ノイズ除去拡散確率モデル（DDPM）

2020年の論文では、変分推論によって従来の方法を改良したノイズ除去拡散確率モデル（DDPM）が提案されました。^{[3] [13]}

前方拡散

モデルを提示するには、何らかの表記が必要です。

• ${\displaystyle \beta _{1},...,\beta _{T}\in (0,1)}$固定定数です。
• ${\displaystyle \alpha _{t}:=1-\beta _{t}}$
• ${\displaystyle {\bar {\alpha }}_{t}:=\alpha _{1}\cdots \alpha _{t}}$
• ${\displaystyle \sigma _{t}:={\sqrt {1-{\bar {\alpha }}_{t}}}}$
• ${\displaystyle {\tilde {\sigma }}_{t}:={\frac {\sigma _{t-1}}{\sigma _{t}}}{\sqrt {\beta _{t}}}}$
• ${\displaystyle {\tilde {\mu }}_{t}(x_{t},x_{0}):={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})x_{t}+{\sqrt {{\bar {\alpha }}_{t-1}}}(1-\alpha _{t})x_{0}}{\sigma _{t}^{2}}}}$
• ${\displaystyle {\mathcal {N}}(\mu ,\Sigma )}$は平均、分散 の正規分布であり、における確率密度です。 ${\displaystyle \mu }$ ${\displaystyle \Sigma }$ ${\displaystyle {\mathcal {N}}(x|\mu ,\Sigma )}$ ${\displaystyle x}$
• 縦棒は条件付けを示します。

順方向拡散プロセスは、学習対象となる確率分布である開始点 から始まり、から IID サンプルをで繰り返しノイズとして追加します。係数と は、を仮定して となることを保証します。 の値は、の任意の開始分布に対して がに収束するように選択されます。 ${\displaystyle x_{0}\sim q}$ ${\displaystyle q}$ $${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$ ${\displaystyle z_{1},...,z_{T}}$ ${\displaystyle {\mathcal {N}}(0,I)}$ ${\displaystyle {\sqrt {1-\beta _{t}}}}$ ${\displaystyle {\sqrt {\beta _{t}}}}$ ${\displaystyle {\mbox{Var}}(X_{t})=I}$ ${\displaystyle {\mbox{Var}}(X_{0})=I}$ ${\displaystyle \beta _{t}}$ ${\displaystyle x_{0}}$ ${\displaystyle \lim _{t}x_{t}|x_{0}}$ ${\displaystyle {\mathcal {N}}(0,I)}$

すると、拡散過程全体はまたはを満たします。ここでは正規化定数であり、しばしば省略されます。特に、はガウス過程であり、これにより の再パラメータ化においてかなりの自由度が得られることに留意してください。例えば、ガウス過程を用いた標準的な操作では、となります。特に、 が大きい場合、変数 はに収束することに注目してください。つまり、十分に長い拡散過程の後、 は に非常に近くなり、元の の痕跡はすべて消え去ります。 $${\displaystyle q(x_{0:T})=q(x_{0})q(x_{1}|x_{0})\cdots q(x_{T}|x_{T-1})=q(x_{0}){\mathcal {N}}(x_{1}|{\sqrt {\alpha _{1}}}x_{0},\beta _{1}I)\cdots {\mathcal {N}}(x_{T}|{\sqrt {\alpha _{T}}}x_{T-1},\beta _{T}I)}$$ $${\displaystyle \ln q(x_{0:T})=\ln q(x_{0})-\sum _{t=1}^{T}{\frac {1}{2\beta _{t}}}\|x_{t}-{\sqrt {1-\beta _{t}}}x_{t-1}\|^{2}+C}$$ ${\displaystyle C}$ ${\displaystyle x_{1:T}|x_{0}}$ $${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$ $${\displaystyle x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$$ ${\displaystyle t}$ ${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$ ${\displaystyle {\mathcal {N}}(0,I)}$ ${\displaystyle x_{T}}$ ${\displaystyle {\mathcal {N}}(0,I)}$ ${\displaystyle x_{0}\sim q}$

たとえば、すべての中間ステップを実行するのではなく、「1 つのステップで」直接サンプリングできるためです。 $${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$$ ${\displaystyle x_{t}|x_{0}}$ ${\displaystyle x_{1},x_{2},...,x_{t-1}}$

再パラメータ化による導出

はガウス分布であり、は別のガウス分布であることが分かっています。また、これらは独立であることも分かっています。したがって、再パラメータ化を行うことができます。ここで、はIIDガウス分布です。 ${\textstyle x_{t-1}|x_{0}}$ ${\textstyle x_{t}|x_{t-1}}$ $${\displaystyle x_{t-1}={\sqrt {{\bar {\alpha }}_{t-1}}}x_{0}+{\sqrt {1-{\bar {\alpha }}_{t-1}}}z}$$ $${\displaystyle x_{t}={\sqrt {\alpha _{t}}}x_{t-1}+{\sqrt {1-\alpha _{t}}}z'}$$ ${\textstyle z,z'}$

5つの変数と2つの線形方程式があります。乱数の2つの発生源は です。IIDガウス分布は回転対称であるため、回転によって再パラメータ化できます。 ${\textstyle x_{0},x_{t-1},x_{t},z,z'}$ ${\textstyle z,z'}$

これらの方程式を代入すると、最初の再パラメータ化を解くことができます。ここでは平均が 0 で分散が 1 のガウス分布です。 $${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\underbrace {{\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}z+{\sqrt {1-\alpha _{t}}}z'} _{=\sigma _{t}z''}}$$ ${\textstyle z''}$

2番目を見つけるには、回転行列を完成させます。 $${\displaystyle {\begin{bmatrix}z''\\z'''\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\?&?\end{bmatrix}}{\begin{bmatrix}z\\z'\end{bmatrix}}}$$

回転行列はすべて の形をしているので、行列は であることがわかります。回転行列の逆行列はその転置行列なので、 ${\textstyle {\begin{bmatrix}\cos \theta &\sin \theta \\-\sin \theta &\cos \theta \end{bmatrix}}}$ $${\displaystyle {\begin{bmatrix}z''\\z'''\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\-{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}&{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}\end{bmatrix}}{\begin{bmatrix}z\\z'\end{bmatrix}}}$$
$${\displaystyle {\begin{bmatrix}z\\z'\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&-{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}&{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}\end{bmatrix}}{\begin{bmatrix}z''\\z'''\end{bmatrix}}}$$

元に戻って、シンプルにすることで、 $${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z''}$$ $${\displaystyle x_{t-1}={\tilde {\mu }}_{t}(x_{t},x_{0})-{\tilde {\sigma }}_{t}z'''}$$

後方拡散

DDPMの核となるアイデアは、 によってパラメータ化されたニューラルネットワークを用いることです。このネットワークは2つの引数 を受け取り、ベクトルと行列を出力します。これにより、順方向拡散過程の各ステップは によって近似的に元に戻すことができます。これにより、で定義される逆方向拡散過程が得られます。ここでの目標は、が に可能な限り近くなるようなパラメータを学習することです。そのためには、変分推論を用いた最尤推定を用います。 ${\displaystyle \theta }$ ${\displaystyle x_{t},t}$ ${\displaystyle \mu _{\theta }(x_{t},t)}$ ${\displaystyle \Sigma _{\theta }(x_{t},t)}$ ${\displaystyle x_{t-1}\sim {\mathcal {N}}(\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$ ${\displaystyle p_{\theta }}$ $${\displaystyle p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)}$$ $${\displaystyle p_{\theta }(x_{t-1}|x_{t})={\mathcal {N}}(x_{t-1}|\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))}$$ ${\displaystyle p_{\theta }(x_{0})}$ ${\displaystyle q(x_{0})}$

変分推論

ELBO不等式は と表し、さらに1つの期待値を取ると が得られます。右辺の量を最大化することで、観測データの尤度の下限が得られることがわかります。これにより、変分推論を行うことができます。 ${\displaystyle \ln p_{\theta }(x_{0})\geq E_{x_{1:T}\sim q(\cdot |x_{0})}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$ $${\displaystyle E_{x_{0}\sim q}[\ln p_{\theta }(x_{0})]\geq E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$

損失関数を定義し、確率的勾配降下法によって損失を最小化することを目標とする。式は^[14]のように簡略化できる。ここで、はパラメータに依存しないため、無視できる。また、もパラメータに依存しないため、項も無視できる。これにより、最小化すべき項は、 のみとなる。 $${\displaystyle L(\theta ):=-E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]}$$ $${\displaystyle L(\theta )=\sum _{t=1}^{T}E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]+E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]+C}$$ ${\displaystyle C}$ ${\displaystyle p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)}$ ${\displaystyle E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]}$ ${\displaystyle L(\theta )=\sum _{t=1}^{T}L_{t}}$ ${\displaystyle L_{t}=E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]}$

騒音予測ネットワーク

なので、 を使うべきであることが示唆されます。しかし、ネットワークは にアクセスできないため、代わりに を推定する必要があります。さて、 なので、 と書くことができます。ここで は未知のガウスノイズです。ここで、 を推定することはを推定することと等価であることがわかります。 ${\displaystyle x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)}$ ${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}(x_{t},x_{0})}$ ${\displaystyle x_{0}}$ ${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$ ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z}$ ${\displaystyle z}$ ${\displaystyle x_{0}}$ ${\displaystyle z}$

したがって、ネットワークにノイズベクトル を出力させ、 を予測させる。残るは を設計することだ。DDPMの論文では、 を学習するのではなく（「トレーニングが不安定になり、サンプル品質が低下する」ため）、 をある値 に固定することが提案されている。この場合、どちらの場合も同等のパフォーマンスが得られる。 ${\displaystyle \epsilon _{\theta }(x_{t},t)}$ $${\displaystyle \mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}\left(x_{t},{\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}\right)={\frac {x_{t}-\epsilon _{\theta }(x_{t},t)\beta _{t}/\sigma _{t}}{\sqrt {\alpha _{t}}}}}$$ ${\displaystyle \Sigma _{\theta }(x_{t},t)}$ ${\displaystyle \Sigma _{\theta }(x_{t},t)=\zeta _{t}^{2}I}$ ${\displaystyle \zeta _{t}^{2}=\beta _{t}{\text{ or }}{\tilde {\sigma }}_{t}^{2}}$

これにより、損失は次のように単純化され、確率的勾配降下法によって最小化される可能性があります。この論文では、経験的に、さらに単純な損失関数を用いることで、より優れたモデルが得られることが示されています。 $${\displaystyle L_{t}={\frac {\beta _{t}^{2}}{2\alpha _{t}\sigma _{t}^{2}\zeta _{t}^{2}}}E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]+C}$$ $${\displaystyle L_{simple,t}=E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$

逆拡散プロセス

ノイズ予測ネットワークをトレーニングした後、次のようにループで元の分布のデータ ポイントを生成するために使用できます。

1. ノイズ推定値を計算する ${\displaystyle \epsilon \leftarrow \epsilon _{\theta }(x_{t},t)}$
2. 元のデータの推定値を計算する ${\displaystyle {\tilde {x}}_{0}\leftarrow (x_{t}-\sigma _{t}\epsilon )/{\sqrt {{\bar {\alpha }}_{t}}}}$
3. 以前のデータのサンプル ${\displaystyle x_{t-1}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)}$
4. 時間を変更する ${\displaystyle t\leftarrow t-1}$

スコアベースの生成モデル

スコアベースの生成モデルは、拡散モデリングの別の定式化である。ノイズ条件付きスコアネットワーク（NCSN）またはランジュバンダイナミクスを用いたスコアマッチング（SMLD）とも呼ばれる。^{[15] [16] [17] [18]}

スコアマッチング

スコア関数の考え方

画像生成の問題を考えてみましょう。を画像とし、 をすべての画像における確率分布とします。 がそれ自身であれば、ある画像がどの程度の確率で存在するかを確実に知ることができます。しかし、これは一般には扱いにくい問題です。 ${\displaystyle x}$ ${\displaystyle q(x)}$ ${\displaystyle q(x)}$

多くの場合、私たちは特定の画像の絶対的な確率を知ることに興味はありません。むしろ、特定の画像が隣接する画像と比較してどの程度の確率で出現するかを知りたいだけなのです。例えば、猫の画像は、その小さなバリエーションと比較してどの程度の確率で出現するのでしょうか？画像にひげが2本、3本、あるいはガウスノイズが追加されている方が確率は高くなるのでしょうか？

その結果、私たちは実際にはそれ自体にはほとんど興味がなく、むしろ…です。これには2つの大きな効果があります。 ${\displaystyle q(x)}$ ${\displaystyle \nabla _{x}\ln q(x)}$

• 1 つ目は、 を正規化する必要がなくなり、任意の （ は私たちにとって重要でない任意の未知の定数）を使用できるようになります。 ${\displaystyle q(x)}$ ${\displaystyle {\tilde {q}}(x)=Cq(x)}$ ${\displaystyle C=\int {\tilde {q}}(x)dx>0}$
• 2つ目は、近隣のものを比べることです。 ${\displaystyle q(x)}$ ${\displaystyle q(x+dx)}$ ${\displaystyle {\frac {q(x)}{q(x+dx)}}=e^{-\langle \nabla _{x}\ln q,dx\rangle }}$

スコア関数をとし、 で何ができるかを考えてみましょう。 ${\displaystyle s(x):=\nabla _{x}\ln q(x)}$ ${\displaystyle s(x)}$

結局のところ、熱力学を用いてからサンプルを採取することができます。具体的には、ポテンシャルエネルギー関数と、ポテンシャル井戸内に多数の粒子がある場合、熱力学的平衡における分布はボルツマン分布となります。温度 では、ボルツマン分布は とまったく同じです。 ${\displaystyle s(x)}$ ${\displaystyle q(x)}$ ${\displaystyle U(x)=-\ln q(x)}$ ${\displaystyle q_{U}(x)\propto e^{-U(x)/k_{B}T}=q(x)^{1/k_{B}T}}$ ${\displaystyle k_{B}T=1}$ ${\displaystyle q(x)}$

したがって、 をモデル化するには、任意の都合の良い分布（例えば標準的なガウス分布）でサンプリングされた粒子から始め、ランジュバン方程式とボルツマン分布に従って粒子の前方への運動をシミュレートします。ボルツマン分布は、フォッカー・プランク方程式によれば、唯一の熱力学的平衡です。したがって、 がどのような分布であっても、 の分布はのときに分布 に収束します。 ${\displaystyle q(x)}$ $${\displaystyle dx_{t}=-\nabla _{x_{t}}U(x_{t})dt+dW_{t}}$$ ${\displaystyle x_{0}}$ ${\displaystyle x_{t}}$ ${\displaystyle q}$ ${\displaystyle t\to \infty }$

スコア関数の学習

密度が与えられた場合、スコア関数の近似値を学習したいとします。これがスコアマッチングです。^{[19]一般的に、スコアマッチングは}フィッシャーダイバージェンス関数を最小化するものとして定式化されます。積分を展開し、部分積分を行うことで、ヒュヴァリネンスコアリングルールとしても知られる損失関数が得られます。これは確率的勾配降下法によって最小化できます。 ${\displaystyle q}$ ${\displaystyle f_{\theta }\approx \nabla \ln q}$ ${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]}$ $${\displaystyle E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]=E_{q}[\|f_{\theta }\|^{2}+2\nabla \cdot f_{\theta }]+C}$$

スコア関数のアニーリング

画像の分布をモデル化する必要があり、ホワイト ノイズ画像 が必要だとします。ほとんどのホワイト ノイズ画像は実際の画像のようには見えないため、の大きな領域ではとなります。これにより、スコア関数の学習で問題が発生します。特定の点の周囲にサンプルがない場合、その点のスコア関数を学習できないためです。その点のスコア関数がわからないと、時間発展方程式を粒子に適用できません。この問題に対処するには、アニーリング を実行します。がホワイト ノイズ分布と大きく異なる場合は、ホワイト ノイズ分布と区別がつかなくなるまで徐々にノイズを追加します。つまり、順方向拡散を実行し、スコア関数を学習し、最後にスコア関数を使用して逆方向拡散を実行します。 ${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$ ${\displaystyle q(x_{0})\approx 0}$ ${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$ ${\displaystyle \nabla _{x_{t}}\ln q(x_{t})}$ $${\displaystyle dx_{t}=\nabla _{x_{t}}\ln q(x_{t})dt+dW_{t}}$$ ${\displaystyle q}$

連続拡散プロセス

前方拡散プロセス

再び順方向拡散過程を考えてみましょう。ただし、今回は連続時間です。極限を取ることで、確率微分方程式の形式で連続拡散過程が得られます。ここで、 はウィーナー過程(多次元ブラウン運動)です。 $${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}}$$ ${\displaystyle \beta _{t}\to \beta (t)dt,{\sqrt {dt}}z_{t}\to dW_{t}}$ $${\displaystyle dx_{t}=-{\frac {1}{2}}\beta (t)x_{t}dt+{\sqrt {\beta (t)}}dW_{t}}$$ ${\displaystyle W_{t}}$

さて、この式は、拡散テンソル、温度、ポテンシャルエネルギー場である過減衰ランジュバン方程式の特殊ケースそのものです。を に代入すると、上記の式が再現されます。これが、拡散モデルにおいて「ランジュバン力学」という用語が使われることがある理由です。 $${\displaystyle dx_{t}=-{\frac {D}{k_{B}T}}(\nabla _{x}U)dt+{\sqrt {2D}}dW_{t}}$$ ${\displaystyle D}$ ${\displaystyle T}$ ${\displaystyle U}$ ${\displaystyle D={\frac {1}{2}}\beta (t)I,k_{B}T=1,U={\frac {1}{2}}\|x\|^{2}}$

さて、上記の式は単一粒子の確率運動を表しています。時刻において に従って分布する粒子群があるとします。その後、長い時間が経つと、粒子群は の安定分布に落ち着きます。時刻 における粒子群の密度を とすると、 となります。目標は、何らかの方法でこのプロセスを逆転させ、端から開始して最初に拡散させることです。 ${\displaystyle q}$ ${\displaystyle t=0}$ ${\displaystyle {\mathcal {N}}(0,I)}$ ${\displaystyle \rho _{t}}$ ${\displaystyle t}$ $${\displaystyle \rho _{0}=q;\quad \rho _{T}\approx {\mathcal {N}}(0,I)}$$

フォッカー・プランク方程式によれば、雲の密度は に従って変化する。ここでは空間の次元であり、はラプラス演算子である。同様に、 $${\displaystyle \partial _{t}\ln \rho _{t}={\frac {1}{2}}\beta (t)\left(n+(x+\nabla \ln \rho _{t})\cdot \nabla \ln \rho _{t}+\Delta \ln \rho _{t}\right)}$$ ${\displaystyle n}$ ${\displaystyle \Delta }$ $${\displaystyle \partial _{t}\rho _{t}={\frac {1}{2}}\beta (t)(\nabla \cdot (x\rho _{t})+\Delta \rho _{t})}$$

逆拡散プロセス

時間 について解けば、雲の進化を正確に逆算することができます。密度 の別の粒子雲から始めて、雲内の粒子が に従って進化するとします。 ${\displaystyle \rho _{t}}$ ${\displaystyle t\in [0,T]}$ ${\displaystyle \nu _{0}=\rho _{T}}$

$${\displaystyle dy_{t}={\frac {1}{2}}\beta (T-t)y_{t}dt+\beta (T-t)\underbrace {\nabla _{y_{t}}\ln \rho _{T-t}\left(y_{t}\right)} _{\text{score function }}dt+{\sqrt {\beta (T-t)}}dW_{t}}$$

これをフォッカー・プランク方程式に代入すると、 となる。したがって、この点群は元の点群を逆方向に進化させたものである。^[20] ${\displaystyle \partial _{t}\rho _{T-t}=\partial _{t}\nu _{t}}$

ノイズ条件付きスコアネットワーク（NCSN）

連続極限では となり、 特に 、連続拡散過程の任意の点から、まず をサンプリングし、次に を得ることで、中間段階を経ることなく直接サンプリングできることがわかります。つまり、任意の について迅速にサンプリングできるということです。 $${\displaystyle {\bar {\alpha }}_{t}=(1-\beta _{1})\cdots (1-\beta _{t})=e^{\sum _{i}\ln(1-\beta _{i})}\to e^{-\int _{0}^{t}\beta (t)dt}}$$ $${\displaystyle x_{t}|x_{0}\sim N\left(e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0},\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)I\right)}$$ ${\displaystyle x_{0}\sim q,z\sim {\mathcal {N}}(0,I)}$ ${\displaystyle x_{t}=e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0}+\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)z}$ ${\displaystyle x_{t}\sim \rho _{t}}$ ${\displaystyle t\geq 0}$

ここで、上の特定の確率分布を定義すると、スコアマッチング損失関数は期待されるフィッシャーダイバージェンスとして定義されます。をトレーニングした後、となるので、最初に をサンプリングし、次にからまでの SDE を積分することで、後方拡散プロセスを実行できます。 これは、オイラー–丸山法などの任意の SDE 積分法で実行できます。 ${\displaystyle \gamma }$ ${\displaystyle [0,\infty )}$ $${\displaystyle L(\theta )=E_{t\sim \gamma ,x_{t}\sim \rho _{t}}[\|f_{\theta }(x_{t},t)\|^{2}+2\nabla \cdot f_{\theta }(x_{t},t)]}$$ ${\displaystyle f_{\theta }(x_{t},t)\approx \nabla \ln \rho _{t}}$ ${\displaystyle x_{T}\sim {\mathcal {N}}(0,I)}$ ${\displaystyle t=T}$ ${\displaystyle t=0}$ $${\displaystyle x_{t-dt}=x_{t}+{\frac {1}{2}}\beta (t)x_{t}dt+\beta (t)f_{\theta }(x_{t},t)dt+{\sqrt {\beta (t)}}dW_{t}}$$

「ノイズ条件付きスコア ネットワーク」という名前は次のように説明されます。

• 「ネットワーク」はニューラルネットワークとして実装されているためです。 ${\displaystyle f_{\theta }}$
• ネットワークの出力はスコア関数を近似するものとして解釈されるため、「スコア」となります。 ${\displaystyle \nabla \ln \rho _{t}}$
• 「ノイズ条件付き」というのは、時間の経過とともに増加するガウスノイズを追加してぼかしたものに等しいため、スコア関数は追加されるノイズの量に依存するからです。 ${\displaystyle \rho _{t}}$ ${\displaystyle \rho _{0}}$

それらの同等性

DDPMとスコアベースの生成モデルは同等である。^{[16] [1] [21]}これは、DDPMを使用して学習されたネットワークはNCSNとして使用でき、その逆も同様であることを意味する。

が分かっているので、 Tweedieの公式より、次の式が得られます 。前述のように、DDPM損失関数は、の式で 表されます。変数の変更により、の項は最小二乗回帰となり、ネットワークが実際に損失の大域的最小値に到達した場合、次の式が得られます。 ${\displaystyle x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)}$ $${\displaystyle \nabla _{x_{t}}\ln q(x_{t})={\frac {1}{\sigma _{t}^{2}}}(-x_{t}+{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}])}$$ ${\displaystyle \sum _{t}L_{simple,t}}$ $${\displaystyle L_{simple,t}=E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$ ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z}$ $${\displaystyle L_{simple,t}=E_{x_{0},x_{t}\sim q}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]=E_{x_{t}\sim q,x_{0}\sim q(\cdot |x_{t})}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]}$$ ${\displaystyle \epsilon _{\theta }(x_{t},t)={\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}]}{\sigma _{t}}}=-\sigma _{t}\nabla _{x_{t}}\ln q(x_{t})}$

したがって、優れたスコアベースのネットワークが与えられれば、その予測スコアは（ によるスケーリング後）ノイズの優れた予測となり、ノイズ除去に使用できます。 ${\displaystyle \sigma _{t}}$

逆に、後方方程式の連続極限は、スコアベースの拡散とまったく同じ方程式を与えます。したがって、DDPM の微小ステップで、ノイズ除去ネットワークはスコアベースの拡散を実行します。 ${\displaystyle x_{t-1}=x_{t-dt},\beta _{t}=\beta (t)dt,z_{t}{\sqrt {dt}}=dW_{t}}$ $${\displaystyle x_{t-1}={\frac {x_{t}}{\sqrt {\alpha _{t}}}}-{\frac {\beta _{t}}{\sigma _{t}{\sqrt {\alpha _{t}}}}}\epsilon _{\theta }(x_{t},t)+{\sqrt {\beta _{t}}}z_{t};\quad z_{t}\sim {\mathcal {N}}(0,I)}$$ $${\displaystyle x_{t-dt}=x_{t}(1+\beta (t)dt/2)+\beta (t)\nabla _{x_{t}}\ln q(x_{t})dt+{\sqrt {\beta (t)}}dW_{t}}$$

主な変種

騒音スケジュール

線形拡散ノイズスケジュールの図解。設定付き。 ${\displaystyle \beta _{1}=10^{-4},\beta _{1000}=0.02}$

DDPMでは、数列は（離散時間）ノイズスケジュールと呼ばれます。一般に、シグモイド関数のような、型の単調増加関数を考えてみましょう。この場合、ノイズスケジュールは実数列です。そして、ノイズ列を定義し、そこから他の量を導出します。 ${\displaystyle 0=\sigma _{0}<\sigma _{1}<\cdots <\sigma _{T}<1}$ ${\displaystyle \sigma }$ ${\displaystyle \mathbb {R} \to (0,1)}$ ${\displaystyle \lambda _{1}<\lambda _{2}<\cdots <\lambda _{T}}$ ${\displaystyle \sigma _{t}:=\sigma (\lambda _{t})}$ ${\displaystyle \beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}}$

任意のノイズ スケジュールを使用するには、ノイズ予測モデルをトレーニングする代わりに、 をトレーニングします。 ${\displaystyle \epsilon _{\theta }(x_{t},t)}$ ${\displaystyle \epsilon _{\theta }(x_{t},\sigma _{t})}$

同様に、ノイズ条件付きスコア ネットワークの場合、 をトレーニングする代わりに、 をトレーニングします。 ${\displaystyle f_{\theta }(x_{t},t)}$ ${\displaystyle f_{\theta }(x_{t},\sigma _{t})}$

ノイズ除去拡散暗黙的モデル (DDIM)

画像生成のための従来のDDPM法は、順方向拡散プロセスでの分布をガウス分布に近づけるのに通常 かかるため、処理速度が遅くなります。しかし、これは逆方向拡散プロセスにも1000ステップかかることを意味します。 はすべての に対してガウス分布であるためステップを省略できる順方向拡散プロセスとは異なり、逆方向拡散プロセスではステップを省略できません。例えば、 をサンプリングするには、まず をサンプリングする必要があります。直接サンプリングしようとするとを周辺化する必要がありますが、これは一般的に扱いが困難です。 ${\displaystyle T\sim 1000}$ ${\displaystyle x_{T}}$ ${\displaystyle x_{t}|x_{0}}$ ${\displaystyle t\geq 1}$ ${\displaystyle x_{t-2}|x_{t-1}\sim {\mathcal {N}}(\mu _{\theta }(x_{t-1},t-1),\Sigma _{\theta }(x_{t-1},t-1))}$ ${\displaystyle x_{t-1}}$ ${\displaystyle x_{t-2}|x_{t}}$ ${\displaystyle x_{t-1}}$

DDIM ^[22]は、DDPM損失で学習した任意のモデルを、いくつかのステップをスキップしてサンプリングする手法であり、調整可能な量の品質を犠牲にする。DDPMから非マルコフ連鎖の場合にマルコフ連鎖を生成すると、DDIMは逆過程の分散が0となる場合に対応する。言い換えれば、逆過程（および順過程）は決定論的である。サンプリングステップ数が少ない場合、DDIMはDDPMよりも優れた性能を示す。

詳細には、DDIMサンプリング法は以下のとおりです。まず、順方向拡散プロセスから始めます。次に、逆方向ノイズ除去プロセス中に、 が与えられた場合、元のデータは と推定されます。その後、逆方向拡散プロセスは任意のステップ にジャンプでき、次のノイズ除去サンプルは となります。ここで、 は範囲内の任意の実数、 は新たにサンプリングされたガウスノイズです。^[14]すべてが の場合、逆方向プロセスは決定論的になり、DDIMのこの特殊なケースは「DDIM」とも呼ばれます。元の論文では、プロセスが決定論的である場合、わずか20ステップで生成されたサンプルは、高レベルでは1000ステップで生成されたサンプルと非常によく似ていると指摘されています。 ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}\epsilon }$ ${\displaystyle x_{t},\epsilon _{\theta }(x_{t},t)}$ $${\displaystyle x_{0}'={\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}}$$ ${\displaystyle 0\leq s<t}$ $${\displaystyle x_{s}={\sqrt {{\bar {\alpha }}_{s}}}x_{0}'+{\sqrt {\sigma _{s}^{2}-(\sigma '_{s})^{2}}}\epsilon _{\theta }(x_{t},t)+\sigma _{s}'\epsilon }$$ ${\displaystyle \sigma _{s}'}$ ${\displaystyle [0,\sigma _{s}]}$ ${\displaystyle \epsilon \sim {\mathcal {N}}(0,I)}$ ${\displaystyle \sigma _{s}'=0}$

元の論文では、 となる単一の「イータ値」 を定義することが推奨されていました。 の場合、これは元のDDPMです。 の場合、これは完全に決定論的なDDIMです。中間値については、プロセスはそれらの値の間を補間します。 ${\displaystyle \eta \in [0,1]}$ ${\displaystyle \sigma _{s}'=\eta {\tilde {\sigma }}_{s}}$ ${\displaystyle \eta =1}$ ${\displaystyle \eta =0}$

同様に、DDIM アルゴリズムはスコアベースの拡散モデルにも適用されます。

潜在拡散モデル（LDM）

拡散モデルは確率分布をモデル化する一般的な手法であるため、画像上の分布をモデル化したい場合、まず画像をエンコーダーによって低次元空間にエンコードし、次に拡散モデルを用いてエンコードされた画像上の分布をモデル化することができる。そして、画像を生成するには、拡散モデルからサンプルを取得し、デコーダーを用いてそれを画像にデコードする。^[23]

エンコーダーとデコーダーのペアは、ほとんどの場合、変分オートエンコーダー(VAE) です。

アーキテクチャの改善

^[24]は様々なアーキテクチャ上の改良を提案した。例えば、彼らは後方サンプリングにおける対数空間補間を提案した。彼らは、学習済みパラメータ に対して、 からサンプリングする代わりに、 からサンプリングすることを推奨した。 ${\displaystyle x_{t-1}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)}$ ${\displaystyle {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),(\sigma _{t}^{v}{\tilde {\sigma }}_{t}^{1-v})^{2}I)}$ ${\displaystyle v}$

v予測形式においては、ノイズ計算式は角度と「速度」 によって定義される角度によって再パラメータ化される。ネットワークは速度 を予測するように訓練され、ノイズ除去は によって行われる。^[25]このパラメータ化は性能を向上させることがわかった。これは、モデルを総ノイズ（すなわち）に到達させてからそれを反転するように訓練することができるからである。一方、標準的なパラメータ化では が常に真であるため、総ノイズに到達することはない。^[26] ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\epsilon _{t}}$ ${\displaystyle \phi _{t}}$ ${\displaystyle \cos \phi _{t}={\sqrt {{\bar {\alpha }}_{t}}}}$ ${\displaystyle \cos \phi _{t}\epsilon _{t}-\sin \phi _{t}x_{0}}$ ${\displaystyle {\hat {v}}_{\theta }}$ ${\displaystyle x_{\phi _{t}-\delta }=\cos(\delta )\;x_{\phi _{t}}-\sin(\delta ){\hat {v}}_{\theta }\;(x_{\phi _{t}})}$ ${\displaystyle \phi _{t}=90^{\circ }}$ ${\displaystyle {\sqrt {{\bar {\alpha }}_{t}}}>0}$

分類器ガイダンス

分類器ガイダンスは、分類器を用いてクラス条件付き画像生成を改善するために2021年に提案されました。最初の出版物では、CLIPテキストエンコーダを用いてテキスト条件付き画像生成を改善しました。^[27]

画像全体の分布からではなく、画像の説明に基づいて条件付きでサンプリングしたいとします。一般的な画像ではなく、「赤い目の黒い猫」という説明に当てはまる画像をサンプリングしたいとします。一般的には、分布 からサンプリングしたいと考えます。ここで、 は画像全体、 は画像のクラス全体にわたります（「赤い目の黒い猫」という説明は非常に詳細なクラスであり、「猫」というクラスは非常に漠然とした説明です）。 ${\displaystyle p(x|y)}$ ${\displaystyle x}$ ${\displaystyle y}$

ノイズチャネルモデルの観点から見ると、このプロセスは次のように理解できます。記述 を条件として画像を生成するには、リクエスト元が実際には画像 を念頭に置いていたものの、その画像がノイズチャネルを通過した結果、 のように文字化けした形で出力されたと仮定します。つまり、画像生成とは、リクエスト元がどの画像を念頭に置いていたかを推測することなのです。 ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle x}$

言い換えれば、条件付き画像生成とは、単に「テキスト言語を画像言語に変換する」ことです。そして、ノイズチャネルモデルと同様に、ベイズの定理を用いて、言い換えれば、すべての画像空間の優れたモデルと、優れた画像クラス変換があれば、クラス画像変換を「無料で」得ることができるのです。後方拡散の式において、スコアは次のように置き換えることができます 。ここで、スコア関数は前述のように学習され、微分可能な画像分類器を用いて求められます。 $${\displaystyle p(x|y)\propto p(y|x)p(x)}$$ ${\displaystyle \nabla \ln p(x)}$ $${\displaystyle \nabla _{x}\ln p(x|y)=\underbrace {\nabla _{x}\ln p(x)} _{\text{score}}+\underbrace {\nabla _{x}\ln p(y|x)} _{\text{classifier guidance}}}$$ ${\displaystyle \nabla _{x}\ln p(x)}$ ${\displaystyle \nabla _{x}\ln p(y|x)}$

拡散プロセス中は、時間を条件として を与える必要がありますが、通常、分類器モデルは時間に依存しないため、 となります。 $${\displaystyle \nabla _{x_{t}}\ln p(x_{t}|y,t)=\nabla _{x_{t}}\ln p(y|x_{t},t)+\nabla _{x_{t}}\ln p(x_{t}|t)}$$ ${\displaystyle p(y|x_{t},t)=p(y|x_{t})}$

分類器ガイダンスはスコア関数の勾配に対して定義され、したがってスコアベース拡散ネットワークに対しても定義されますが、前述のように、スコアベース拡散モデルは、 によるノイズ除去モデルと同等であり、同様に です。したがって、分類器ガイダンスは、修正されたノイズ予測を用いることで、ノイズ除去拡散にも適用できます。^[27] ${\displaystyle \epsilon _{\theta }(x_{t},t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|t)}$ ${\displaystyle \epsilon _{\theta }(x_{t},y,t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|y,t)}$ $${\displaystyle \epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\underbrace {\sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)} _{\text{classifier guidance}}}$$

温度とともに

分類器誘導拡散モデルは、最大事後推定値 の周囲に集中する からサンプリングを行います。モデルを最大尤度推定値に近づけたい場合は、 を使用することができます 。ここで、 は温度の逆数として解釈できます。拡散モデルの文脈では、これは通常、ガイダンススケールと呼ばれます。 が高いと、モデルは の周囲に集中する分布からサンプリングを行うように強制されます。これにより、生成される画像の品質が向上する場合があります。^[27] ${\displaystyle p(x|y)}$ ${\displaystyle \arg \max _{x}p(x|y)}$ ${\displaystyle \arg \max _{x}p(y|x)}$ $${\displaystyle p_{\gamma }(x|y)\propto p(y|x)^{\gamma }p(x)}$$ ${\displaystyle \gamma >0}$ ${\displaystyle \gamma }$ ${\displaystyle \arg \max _{x}p(y|x)}$

これは前の式を修正したものである。ノイズ除去モデルの場合、これは^{[28]に相当する。} $${\displaystyle \nabla _{x}\ln p_{\beta }(x|y)=\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(y|x)}$$ $${\displaystyle \epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\gamma \sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)}$$

分類器フリーガイダンス（CFG）

分類器がない場合でも、画像モデル自体から分類器を抽出することは可能です。^[28]このようなモデルは通常、との両方を提示することでトレーニングされ、との両方をモデル化できるようになります。 ${\displaystyle p(y|x)}$ $${\displaystyle \nabla _{x}\ln p_{\gamma }(x|y)=(1-\gamma )\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(x|y)}$$ ${\displaystyle (x,y)}$ ${\displaystyle (x,{\rm {None}})}$ ${\displaystyle \nabla _{x}\ln p(x|y)}$ ${\displaystyle \nabla _{x}\ln p(x)}$

CFGの場合、拡散モデルは単にデータ分布全体の生成モデルであってはならないことに注意してください。条件付き生成モデルである必要があります。例えば、安定拡散では、拡散バックボーンはノイズモデル、時間、および条件付けベクトル（テキストプロンプトをエンコードしたベクトルなど）を入力として受け取り、ノイズ予測を生成します。 ${\displaystyle \nabla _{x}\ln p(x)}$ ${\displaystyle \nabla _{x}\ln p(x|y)}$ ${\displaystyle x_{t}}$ ${\displaystyle t}$ ${\displaystyle y}$ ${\displaystyle \epsilon _{\theta }(x_{t},y,t)}$

ノイズ除去モデルの場合、これは に相当する。DDIMでサンプリングされた の場合、アルゴリズムは次のように記述できる^[29]。同様の手法は言語モデルのサンプリングにも適用できる。また、無条件生成を に置き換えると、否定的なプロンプトが生成され、生成が条件から遠ざかる。^{[30] [31]} $${\displaystyle \epsilon _{\theta }(x_{t},y,t,\gamma )=\epsilon _{\theta }(x_{t},t)+\gamma (\epsilon _{\theta }(x_{t},y,t)-\epsilon _{\theta }(x_{t},t))}$$ $${\displaystyle {\begin{aligned}\epsilon _{\text{uncond}}&\leftarrow \epsilon _{\theta }(x_{t},t)\\\epsilon _{\text{cond}}&\leftarrow \epsilon _{\theta }(x_{t},t,c)\\\epsilon _{\text{CFG}}&\leftarrow \epsilon _{\text{uncond}}+\gamma (\epsilon _{\text{cond}}-\epsilon _{\text{uncond}})\\x_{0}&\leftarrow (x_{t}-\sigma _{t}\epsilon _{\text{CFG}})/{\sqrt {1-\sigma _{t}^{2}}}\\x_{s}&\leftarrow {\sqrt {1-\sigma _{s}^{2}}}x_{0}+{\sqrt {\sigma _{s}^{2}-(\sigma _{s}')^{2}}}\epsilon _{\text{uncond}}+\sigma _{s}'\epsilon \\\end{aligned}}}$$ ${\displaystyle \epsilon _{\text{uncond}}\leftarrow \epsilon _{\theta }(x_{t},t)}$ ${\displaystyle \epsilon _{\text{neg cond}}\leftarrow \epsilon _{\theta }(x_{t},t,c')}$ ${\displaystyle c'}$

サンプラー

拡散モデルが与えられた場合、それを連続過程とみなしてSDEを積分することでサンプルを取得することも、離散過程とみなして離散ステップを反復することでサンプルを取得することも可能である。「ノイズスケジュール」の選択もサンプルの品質に影響を与える可能性がある。ノイズスケジュールとは、自然数をノイズレベルに送る関数である。ノイズスケジュールは、多くの場合、マップ によって指定される。 であるため、2つの定義は同等である。 ${\displaystyle \beta _{t}}$ $${\displaystyle t\mapsto \beta _{t},\quad t\in \{1,2,\dots \},\beta \in (0,1)}$$ ${\displaystyle t\mapsto \sigma _{t}}$ ${\displaystyle \beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}}$

DDPMの観点からは、DDPM自体（ノイズあり）またはDDIM（ノイズ量を調整可能）を使用することができます。ノイズを追加する場合は、祖先サンプリングと呼ばれることがあります。^[32]ノイズありとノイズなしの間を補間することができます。DDIMの論文では、ノイズの量は「イータ値」で示され、 はノイズなし（決定論的DDIMの場合）を示し、 は完全なノイズ（DDPMの場合）を示します。 ${\displaystyle \eta }$ ${\displaystyle \eta =0}$ ${\displaystyle \eta =1}$

SDEの観点からは、オイラー・丸山法、ホイン法、線形多段階法などの数値積分法のいずれかを使用できます。離散の場合と同様に、積分中に調整可能な量のノイズを追加できます。^[33]

画像生成の文脈におけるサンプラーの調査と比較は行われている。^[34]

その他の例

注目すべき変種としては、^[35]ポアソンフロー生成モデル、^[36]コンシステンシーモデル、^[37]臨界減衰ランジュバン拡散、^[38] GenPhys、^[39]冷拡散、^[40]離散拡散、^{[41] [42]}などがある。

フローベースの拡散モデル

抽象的に言えば、拡散モデルの考え方は、未知の確率分布（自然に見える画像の分布）を、それらを結ぶ絶対連続な確率経路を構築することで、既知の確率分布（標準ガウス分布）へと段階的に変換するというものです。この確率経路は、実際にはスコア関数によって暗黙的に定義されます。 ${\displaystyle \nabla \ln p_{t}}$

拡散モデルのノイズ除去では、順方向プロセスでノイズを追加し、逆方向プロセスでノイズを除去します。順方向プロセスと逆方向プロセスはどちらもSDEですが、順方向プロセスは閉形式で積分可能であるため、計算コストは​​かかりません。逆方向プロセスは閉形式で積分できないため、標準的なSDEソルバーを用いて段階的に積分する必要があり、非常にコストがかかる場合があります。拡散モデルにおける確率経路はイトー過程によって定義され、確率常微分方程式のフロー定式化を用いることで決定論的過程を復元できます。^[1]

フローベースの拡散モデルにおいて、順方向過程は時間依存ベクトル場に沿った決定論的な流れであり、逆方向過程も同じベクトル場に沿った決定論的な流れですが、逆方向に進みます。どちらの過程も常微分方程式の解です。ベクトル場が適切に振る舞う場合、常微分方程式も適切に振る舞います。

2つの分布 と が与えられた場合、フローベースモデルはにおける時間依存の速度場であり、点 をサンプリングすることから始めて、それを速度場に従って移動させると、点 が得られます。上記の常微分方程式の解は、プッシュフォワード測度演算子によって確率経路を定義します。特に、 です。 ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle v_{t}(x)}$ ${\displaystyle [0,1]\times \mathbb {R} ^{d}}$ ${\displaystyle x\sim \pi _{0}}$ $${\displaystyle {\frac {d}{dt}}\phi _{t}(x)=v_{t}(\phi _{t}(x))\quad t\in [0,1],\quad {\text{starting from }}\phi _{0}(x)=x}$$ ${\displaystyle x_{1}\sim \pi _{1}}$ ${\displaystyle \phi _{t}}$ ${\displaystyle p_{t}=[\phi _{t}]_{\#}\pi _{0}}$ ${\displaystyle [\phi _{1}]_{\#}\pi _{0}=\pi _{1}}$

確率経路と速度場は、確率分布の意味で連続方程式を満たす。 確率経路を構築するには、まず条件付き確率経路と、それに対応する条件付き速度場をある条件付き分布上に構築する。自然な選択肢はガウス条件付き確率経路である。条件付きガウス経路間の測地線経路に対応する条件付き速度場は、 次の通りである。確率経路と速度場は、周辺化によって計算される。 $${\displaystyle \partial _{t}p_{t}+\nabla \cdot (v_{t}p_{t})=0}$$ ${\displaystyle p_{t}(x\vert z)}$ ${\displaystyle v_{t}(x\vert z)}$ ${\displaystyle q(z)}$ $${\displaystyle p_{t}(x\vert z)={\mathcal {N}}\left(m_{t}(z),\zeta _{t}^{2}I\right)}$$ $${\displaystyle v_{t}(x\vert z)={\frac {\zeta _{t}'}{\zeta _{t}}}(x-m_{t}(z))+m_{t}'(z)}$$

${\displaystyle p_{t}(x)=\int p_{t}(x\vert z)q(z)dz\qquad {\text{ and }}\qquad v_{t}(x)=\mathbb {E} _{q(z)}\left[{\frac {v_{t}(x\vert z)p_{t}(x\vert z)}{p_{t}(x)}}\right]}$

最適な輸送フロー

最適輸送フロー ^[43]の考え方は、ワッサーシュタイン計量を最小化する確率経路を構築することです。条件となる分布は、と の間の最適輸送計画の近似値です。ここでは最適輸送計画であり、ミニバッチ最適輸送によって近似できます。バッチサイズが大きくない場合、計算される輸送は真の最適輸送から大きく離れる可能性があります。 ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle z=(x_{0},x_{1})}$ ${\displaystyle q(z)=\Gamma (\pi _{0},\pi _{1})}$ ${\displaystyle \Gamma }$

整流された流れ

整流フロー^{[44] [45]}の考え方は、各流路に沿って速度がほぼ一定となるようなフローモデルを学習することです。これは、そのようなベクトル場に沿って非常に少ないステップで積分できるため、有益です。例えば、常微分方程式が完全に直線の経路をたどる場合、それは と簡約され、1ステップで正確な解を得ることができます。実際には、このような完璧さには到達できませんが、フロー場がほぼ直線である場合、多くの小さなステップではなく、いくつかの大きなステップを踏むことができます。 ${\displaystyle {\dot {\phi _{t}}}(x)=v_{t}(\phi _{t}(x))}$ ${\displaystyle \phi _{t}(x)=x_{0}+t\cdot v_{0}(x_{0})}$

線形補間	整流フロー	整流された流れ [1]

基本的な考え方は、2つの分布とから始め、そこから流れ場を構築し、「リフロー」操作を繰り返し適用して、それぞれが前のものよりも直線的な流れ場を次々に得るというものです。流れ場が適用に十分な直線性を持つようになったら、処理を終了します。 ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle \phi ^{0}=\{\phi _{t}:t\in [0,1]\}}$ ${\displaystyle \phi ^{1},\phi ^{2},\dots }$

一般に、任意の時間微分可能プロセスについては、次を解くことで推定できます。 ${\displaystyle \phi _{t}}$ ${\displaystyle v_{t}}$ $${\displaystyle \min _{\theta }\int _{0}^{1}\mathbb {E} _{x\sim p_{t}}\left[\lVert {v_{t}(x,\theta )-v_{t}(x)}\rVert ^{2}\right]\,\mathrm {d} t.}$$

整流フローでは、中間軌道が直線であるという強力な事前条件を注入することで、直線パスを持つ ODE を時間離散化なしで正確にシミュレートできるため、最適輸送の理論的妥当性と計算効率の両方を実現できます。

整流輸送^[44]

具体的には、正規化フローは、分布 と の点間の線形補間の周辺分布と常微分方程式を一致させることを目指します。観測値 と が与えられた場合、標準線形補間は自明なケース をもたらしますが、これは なしでは因果的にシミュレートできません。これに対処するために、は因果的にシミュレート可能な常微分方程式の空間に「投影」され、方向 に関する最小二乗損失を最小化します。 ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle x_{0}\sim \pi _{0}}$ ${\displaystyle x_{1}\sim \pi _{1}}$ ${\displaystyle x_{t}=tx_{1}+(1-t)x_{0},t\in [0,1]}$ ${\displaystyle {\dot {x}}_{t}=x_{1}-x_{0}}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{t}}$ ${\displaystyle x_{1}-x_{0}}$ $${\displaystyle \min _{\theta }\int _{0}^{1}\mathbb {E} _{\pi _{0},\pi _{1},p_{t}}\left[\lVert {(x_{1}-x_{0})-v_{t}(x_{t})}\rVert ^{2}\right]\,\mathrm {d} t.}$$

データペアは、との任意の組み合わせで、通常は独立（つまり）であり、とからの観測値をランダムに組み合わせることで得られます。このプロセスにより、軌跡は軌跡の密度マップを厳密に反映しますが、交差点では因果関係を確保するために経路が変更されます。 ${\displaystyle (x_{0},x_{1})}$ ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle (x_{0},x_{1})\sim \pi _{0}\times \pi _{1}}$ ${\displaystyle \pi _{0}}$ ${\displaystyle \pi _{1}}$ ${\displaystyle x_{t}}$

リフロープロセス^[44]

整流フローの特徴的な側面は、「リフロー」と呼ばれる機能であり、これにより常微分方程式の経路の軌跡が直線化されます。から誘導される整流フローを と表記します。この演算子を再帰的に適用すると、一連の整流フローが生成されます。この「リフロー」プロセスは、輸送コストを削減するだけでなく、整流フローの経路を直線化し、が増加するにつれて経路がより直線化されます。 ${\displaystyle \phi ^{0}=\{\phi _{t}:t\in [0,1]\}}$ ${\displaystyle (x_{0},x_{1})}$ ${\displaystyle \phi ^{0}={\mathsf {Rectflow}}((x_{0},x_{1}))}$ ${\displaystyle {\mathsf {Rectflow}}(\cdot )}$ ${\displaystyle \phi ^{k+1}={\mathsf {Rectflow}}((\phi _{0}^{k}(x_{0}),\phi _{1}^{k}(x_{1})))}$ ${\displaystyle \phi ^{k}}$ ${\displaystyle k}$

整流フローには、線形補間を、と を結ぶ任意の時間微分可能曲線に置き換えた非線形拡張が含まれます。この枠組みは、との特定の選択を伴うDDIMおよび確率フロー常微分方程式を特別なケースとして包含します。しかし、 の経路が直線でない場合、リフロープロセスはもはや凸輸送コストの削減を保証せず、 の経路も直線化しません。^[44] ${\displaystyle x_{t}}$ ${\displaystyle x_{0}}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{t}=\alpha _{t}x_{1}+\beta _{t}x_{0}}$ ${\displaystyle \alpha _{t}}$ ${\displaystyle \beta _{t}}$ ${\displaystyle x_{t}}$ ${\displaystyle \phi _{t}}$

アーキテクチャの選択

安定拡散の構造

Stable Diffusionで使用されるノイズ除去プロセス

拡散モデル

DDPMによる画像生成には、時間とノイズ画像を受け取り、そこからノイズを予測するニューラルネットワークが必要です。ノイズを予測することは、ノイズ除去後の画像を予測し、それを から減算することと同じなので、ノイズ除去アーキテクチャはうまく機能する傾向があります。例えば、画像のノイズ除去に適していることがわかっているU-Netは、画像を生成する拡散モデルのノイズ除去にもよく使用されます。^[46] ${\displaystyle t}$ ${\displaystyle x_{t}}$ ${\displaystyle \epsilon _{\theta }(x_{t},t)}$ ${\displaystyle x_{t}}$

DDPMの場合、基盤となるアーキテクチャ（「バックボーン」）はU-Netである必要はありません。何らかの方法でノイズを予測できれば十分です。例えば、拡散トランスフォーマー（DiT）は、テキスト条件付けと部分的にノイズ除去された画像が与えられた場合、トランスフォーマーを用いてノイズの平均共分散と対角共分散を予測します。これは、U-Netの代わりにトランスフォーマーが用いられる標準的なU-Netベースのノイズ除去拡散モデルと同じです。^[47] 専門家混合型トランスフォーマーも適用可能です。^[48]

DDPMは、自然な画像だけでなく、一般的なデータ分布をモデル化するために使用できます。例えば、Human Motion Diffusion ^[49]は、DDPMを用いて人間の動作軌跡をモデル化します。人間の動作軌跡は、関節の回転または位置によって表されるポーズのシーケンスです。この手法では、Transformerネットワークを用いて、ノイズの多い軌跡からノイズの少ない軌跡を生成します。

コンディショニング

ベースとなる拡散モデルは、分布全体から無条件に生成することしかできません。例えば、ImageNetで学習した拡散モデルは、ImageNetからランダムに抽出した画像のような画像を生成します。1つのカテゴリからのみ画像を生成するには、まず条件を課し、その後条件付き分布からサンプリングする必要があります。どのような条件を課すにしても、まず条件付けを浮動小数点数のベクトルに変換し、それを基盤となる拡散モデルニューラルネットワークに入力する必要があります。ただし、条件付けをベクトルに変換する方法は自由に選択できます。

例えば、安定拡散は、クロスアテンションメカニズムの形で条件付けを課します。この場合、クエリはU-Netにおける画像の中間表現であり、キーと値の両方が条件付けベクトルとなります。この条件付けは画像の一部にのみ選択的に適用することができ、ControlNetで使用されているように、ベースモデルに対して新しい種類の条件付けを微調整することも可能です。^[50]

特に単純な例として、画像修復 を考えてみましょう。条件は、 （参照画像）と（修復マスク）です。この条件付けは、後方拡散プロセスの各ステップで、まず（ノイズを含む ）をサンプリングし、次に（要素ごとの の乗算）に置き換えることで行われます。^[51]クロスアテンションメカニズムの別の応用として、プロンプトツープロンプト画像編集があります。^[52] ${\displaystyle {\tilde {x}}}$ ${\displaystyle m}$ ${\displaystyle {\tilde {x}}_{t}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}{\tilde {x}},\sigma _{t}^{2}I\right)}$ ${\displaystyle {\tilde {x}}}$ ${\displaystyle x_{t}}$ ${\displaystyle (1-m)\odot x_{t}+m\odot {\tilde {x}}_{t}}$ ${\displaystyle \odot }$

条件付けは、特定のカテゴリから画像を生成することや、特定のキャプション（テキストから画像を生成する場合など）に基づいて画像を生成することだけに限定されません。例えば、^[49]は、人間の歩行の音声クリップ（サウンドトラックと同期した動きが可能）、人間の走行のビデオ、人間の動きに関するテキスト記述などを条件として、人間の動きを生成することを実証しました。条件付き拡散モデルが数学的にどのように定式化されるかについては、^{[53]の方法論的概要を参照してください。}

アップスケーリング

画像生成には長い時間がかかるため、まずベースとなる拡散モデルで小さな画像を生成し、それを他のモデルでアップスケールするという方法があります。アップスケールはGAN ^[54] 、 [ 55 ] 、^{[56] 、あるいは}Lanczosリサンプリングなどの信号処理手法によって行うことができます。

拡散モデル自体もアップスケーリングに使用できます。カスケーディング拡散モデルは、プログレッシブGANのスタイルで、複数の拡散モデルを次々に積み重ねます。最下層は32×32の画像を生成する標準的な拡散モデルで、次にアップスケーリング用に特別に学習された拡散モデルによって画像がアップスケーリングされ、このプロセスが繰り返されます。^[46]

より詳細には、拡散アップスケーラーは次のように訓練される。^[46]

• サンプル、は高解像度画像、は低解像度に縮小された同じ画像、は条件付けであり、画像のキャプション、画像のクラスなどになります。 ${\displaystyle (x_{0},z_{0},c)}$ ${\displaystyle x_{0}}$ ${\displaystyle z_{0}}$ ${\displaystyle c}$
• 2つのホワイトノイズ、2つのタイムステップをサンプリングします。高解像度画像と低解像度画像のノイズバージョンを計算します。 ${\displaystyle \epsilon _{x},\epsilon _{z}}$ ${\displaystyle t_{x},t_{z}}$ ${\displaystyle {\begin{cases}x_{t_{x}}&={\sqrt {{\bar {\alpha }}_{t_{x}}}}x_{0}+\sigma _{t_{x}}\epsilon _{x}\\z_{t_{z}}&={\sqrt {{\bar {\alpha }}_{t_{z}}}}z_{0}+\sigma _{t_{z}}\epsilon _{z}\end{cases}}}$
• 与えられた を予測するようにノイズ除去ネットワークを訓練します。つまり、L2損失 に勾配降下法を適用します。 ${\displaystyle \epsilon _{x}}$ ${\displaystyle x_{t_{x}},z_{t_{z}},t_{x},t_{z},c}$ ${\displaystyle \theta }$ ${\displaystyle \|\epsilon _{\theta }(x_{t_{x}},z_{t_{z}},t_{x},t_{z},c)-\epsilon _{x}\|_{2}^{2}}$

例

このセクションでは、いくつかの注目すべき拡散モデルを収集し、そのアーキテクチャについて簡単に説明します。

オープンAI

OpenAI の DALL-E シリーズは、画像のテキスト条件付き拡散モデルです。

DALL-Eの最初のバージョン（2021）は、実際には拡散モデルではありません。代わりに、Transformerアーキテクチャを使用してトークンのシーケンスを自己回帰的に生成し、離散VAEのデコーダーによって画像に変換します。DALL-Eと同時にリリースされたCLIP分類器は、生成された画像をテキストとの適合度に基づいてランク付けするために使用されました。

GLIDE（2022-03）^[56]は35億の拡散モデルであり、その小型版が公開されました。^[5]その後まもなく、DALL-E 2がリリースされました（2022-04）。^[57] DALL-E 2は35億のカスケード拡散モデルであり、「CLIP画像エンコーダを反転」することでテキストから画像を生成します。この手法は「unCLIP」と呼ばれています。

unCLIP法には、CLIP画像エンコーダ、CLIPテキストエンコーダ、画像デコーダ、そして事前モデル（拡散モデルまたは自己回帰モデル）の4つのモデルが含まれています。学習中、事前モデルはCLIP画像エンコーディングをCLIPテキストエンコーディングに変換するように学習されます。画像デコーダは、CLIP画像エンコーディングを画像に戻すように学習されます。推論中、テキストはCLIPテキストエンコーダによってベクトルに変換され、事前モデルによって画像エンコーディングに変換され、画像デコーダによって画像に変換されます。

Sora（2024-02）は拡散トランスフォーマーモデル（DiT）です。

安定性AI

Stability AIがリリースしたStable Diffusion（2022-08）は、ノイズ除去潜在拡散モデル（8億6000万パラメータ）、VAE、テキストエンコーダで構成されています。ノイズ除去ネットワークはU-Netで、条件付き画像生成を可能にするクロスアテンションブロックを備えています。^{[58] [23]}

Stable Diffusion 3 (2024-03) ^{[59] は、}潜在拡散モデルをUNetからTransformerモデルに変更したため、DiTとなっています。整流フローを使用しています。

Stable Video 4D（2024-07）^[60]は、3Dオブジェクトのビデオのための潜在拡散モデルです。

グーグル

Imagen (2022) ^{[61] [62]は}T5-XXL言語モデルを用いて入力テキストを埋め込みベクトルにエンコードする。これは3つのサブモデルを持つカスケード型拡散モデルである。第1段階では、テキストの埋め込みベクトルを条件として、ホワイトノイズを64×64の画像にノイズ除去する。このモデルは2B個のパラメータを持つ。第2段階では、埋め込みを条件として、画像を64×64→256×256にアップスケールする。このモデルは650M個のパラメータを持つ。第3段階でも同様で、256×256→1024×1024にアップスケールする。このモデルは400M個のパラメータを持つ。3つのノイズ除去ネットワークはすべてU-Netである。

Muse（2023-01）^[63]は拡散モデルではなく、マスクされていない画像トークンからマスクされた画像トークンを予測するように訓練されたエンコーダのみのTransformerである。

Imagen 2 (2023-12) も拡散型です。画像とテキストを混ぜたプロンプトに基づいて画像を生成できます。詳細は不明です。^[64] Imagen 3 (2024-05) も同様です。詳細は不明です。^[65]

Veo (2024) は潜在拡散によって動画を生成する。この拡散は、テキストプロンプトと画像プロンプトの両方をエンコードしたベクトルに基づいている。^[66]

メタ

Make-A-Video（2022）はテキストからビデオへの拡散モデルです。^{[67] [68]}

CM3leon（2023）は拡散モデルではなく、 LLaMa -2とほぼ同じアーキテクチャを持つ自己回帰因果マスクトランスフォーマーです。 ^{[69] [70]}

輸血アーキテクチャ図

Transfusion (2024) は、自己回帰テキスト生成とノイズ除去拡散を組み合わせたTransformerです。具体的には、自己回帰的にテキストを生成し（因果マスキングを使用）、画像トークンに対して複数回のノイズ除去を行うことで画像を生成します（全対全アテンションを使用）。^[71]

ムービー・ジェン（2024）は、潜在空間とフローマッチングによって動作する拡散トランスフォーマーのシリーズです。^[72]

参照

• 拡散プロセス
• マルコフ連鎖
• 変分推論
• 変分オートエンコーダ

さらに読む

• レビュー論文
  • Yang, Ling (2024-09-06), YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy 、2024年9月6日取得
  • ヤン、リン。張志龍。ソン、ヤン。ホン、シェンダ。シュウ・ルンシェン。趙、越。張文涛。崔、斌。ヤン・ミンシュアン（2023-11-09）。 「普及モデル: 手法とアプリケーションの包括的な調査」。ACM コンピューティング。生き残る。56 (4): 105:1–105:39。arXiv : 2209.00796。土井：10.1145/3626235。ISSN  0360-0300。
  • Austin, Jacob; Johnson, Daniel D.; Ho, Jonathan; Tarlow, Daniel; Rianne van den Berg (2021). 「離散状態空間における構造化ノイズ除去拡散モデル」. arXiv : 2107.03006 [cs.LG].
  • クロイトル、フロリネル・アリン。ホンドル、ヴラド。イヨネスク、ラドゥ・チューダー。シャー、ムバラク (2023-09-01)。 「ビジョンにおける拡散モデル: 調査」。パターン分析とマシン インテリジェンスに関する IEEE トランザクション。45 (9 ) : 10850–10869.arXiv : 2209.04747 。Bibcode :2023ITPAM..4510850C。土井：10.1109/TPAMI.2023.3261988。ISSN  0162-8828。PMID  37030794。
• 数学的な詳細は記事では省略されています。
  • 「拡散モデルの力」AstraBlog 2022年9月25日2023年9月25日閲覧。
  • Luo, Calvin (2022-08-25). 「拡散モデルの理解：統一的な視点」arXiv : 2208.11970 [cs.LG].
  • Weng, Lilian (2021-07-11). 「拡散モデルとは何か？」lilianweng.github.io . 2023年9月25日閲覧。
• チュートリアル
  • ナッキラン、プリータム。ブラッドリー、アルウェン。周、ハッティ。アドヴァニ、マドゥ (2024)。 「ステップバイステップの普及: 初級チュートリアル」。arXiv : 2406.08929 [cs.LG]。
  • 「ガイダンス：拡散モデルのためのチートコード」。2022年5月26日。分類器ガイダンスと分類器フリーガイダンスの概要。数学的な詳細は省略します。

参考文献

1. Song, Yang; Sohl-Dickstein, Jascha; Kingma, Diederik P.; Kumar, Abhishek; Ermon, Stefano; Poole, Ben (2021-02-10). 「確率微分方程式によるスコアベースの生成モデリング」. arXiv : 2011.13456 [cs.LG].
2. クロイトール、フロリネル＝アリン;ホンドル、ヴラド。イヨネスク、ラドゥ・チューダー。シャー、ムバラク (2023)。 「ビジョンにおける拡散モデル: 調査」。パターン分析とマシン インテリジェンスに関する IEEE トランザクション。45 (9 ) : 10850–10869.arXiv : 2209.04747 。Bibcode :2023ITPAM..4510850C。土井：10.1109/TPAMI.2023.3261988。PMID  37030794。S2CID 252199918  。
3. Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (2020). 「拡散確率モデルのノイズ除去」.ニューラル情報処理システムの進歩. 33. Curran Associates, Inc.: 6840–6851 .
4. 顧、朔陽;チェン、ドン。バオ、ジャンミン。ウェン、ファン。張、博。チェン、ドンドン。ユアン、ルー。郭白寧（2021）。 「テキストから画像への合成のためのベクトル量子化拡散モデル」。arXiv : 2111.14822 [cs.CV]。
5. GLIDE、OpenAI、2023年9月22日、 2023年9月24日閲覧
6. Li, Yifan; Zhou, Kun; Zhao, Wayne Xin; Wen, Ji-Rong (2023年8月). 「非自己回帰テキスト生成のための拡散モデル：概説」.第32回国際人工知能合同会議議事録. カリフォルニア州: 国際人工知能合同会議機構. pp.  6692– 6701. arXiv : 2303.06574 . doi :10.24963/ijcai.2023/750. ISBN 978-1-956792-03-4。
7. Xu, Weijie; Hu, Wenxiang; Wu, Fanyou; Sengamedu, Srinivasan (2023). 「DeTiME: エンコーダー・デコーダーベースのLLMを用いた拡散強化トピックモデリング」.計算言語学協会の成果: EMNLP 2023.米国ペンシルベニア州ストウズバーグ: 計算言語学協会: 9040–9057 . arXiv : 2310.15296 . doi :10.18653/v1/2023.findings-emnlp.606.
8. Zhang, Haopeng; Liu, Xiao; Zhang, Jiawei (2023). 「DiffuSum: 拡散による生成強化抽出要約」.計算言語学協会の調査結果: ACL 2023.米国ペンシルベニア州ストウズバーグ: 計算言語学協会: 13089– 13100. arXiv : 2305.01735 . doi :10.18653/v1/2023.findings-acl.828.
9. Yang, Dongchao; Yu, Jianwei; Wang, Helin; Wang, Wen; Weng, Chao; Zou, Yuexian; Yu, Dong (2023). 「Diffsound: テキストから音声への生成のための離散拡散モデル」. IEEE/ACM Transactions on Audio, Speech, and Language Processing . 31 : 1720– 1733. arXiv : 2207.09983 . Bibcode :2023ITASL..31.1720Y. doi :10.1109/taslp.2023.3268730. ISSN  2329-9290.
10. Janner, Michael; Du, Yilun; Tenenbaum, Joshua B.; Levine, Sergey (2022-12-20). 「柔軟な行動合成のための拡散を用いたプランニング」. arXiv : 2205.09991 [cs.LG].
11. チー、チェン;徐、鎮佳。フォン、思源。エリック・クスノー。ドゥ、イールン。バーフフィール、ベンジャミン。テドレイク、ラス。歌、シュラン(2024-03-14)。 「普及政策：行動の普及による視覚運動政策の学習」。arXiv : 2303.04137 [cs.RO]。
12. Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). 「非平衡熱力学を用いた教師なし深層学習」(PDF) .第32回国際機械学習会議論文集. 37. PMLR: 2256– 2265. arXiv : 1503.03585 .
13. Ho、Jonathan (2020 年 6 月 20 日)、hojonathanho/diffusion 、 2024-09-07取得
14. Weng, Lilian (2021-07-11). 「拡散モデルとは何か？」lilianweng.github.io . 2023年9月24日閲覧。
15. 「データ分布の勾配の推定による生成モデリング | Yang Song」yang-song.net . 2023年9月24日閲覧。
16. Song, Yang; Ermon, Stefano (2019). 「データ分布の勾配推定による生成モデリング」.ニューラル情報処理システムの進歩. 32. Curran Associates, Inc. arXiv : 1907.05600 .
17. ソン、ヤン;ソール＝ディックスシュタイン、ヤッシャ。キングマ、ディーデリク P.クマール、アビシェク。エルモン、ステファノ。プール、ベン (2021-02-10)。 「確率微分方程式によるスコアベースの生成モデリング」。arXiv : 2011.13456 [cs.LG]。
18. ermongroup/ncsn、ermongroup、2019年、 2024年9月7日閲覧。
19. 「スライススコアマッチング：密度とスコア推定へのスケーラブルなアプローチ | Yang Song」. yang-song.net . 2023年9月24日閲覧。
20. アンダーソン, ブライアン・DO (1982年5月). 「逆時間拡散方程式モデル」 .確率過程とその応用. 12 (3): 313– 326. doi :10.1016/0304-4149(82)90051-5. ISSN  0304-4149.
21. Luo, Calvin (2022). 「拡散モデルの理解：統一的な視点」arXiv : 2208.11970v1 [cs.LG].
22. Song, Jiaming; Meng, Chenlin; Ermon, Stefano (2023年10月3日). 「拡散暗黙モデルのノイズ除去」. arXiv : 2010.02502 [cs.LG].
23. ロンバック、ロビン;ブラットマン、アンドレアス。ローレンツ、ドミニク。エッサー、パトリック。オマー、ビョルン（2022年4月13日）。 「潜在拡散モデルによる高解像度画像合成」。arXiv : 2112.10752 [cs.CV]。
24. Nichol, Alexander Quinn; Dhariwal, Prafulla (2021-07-01). 「改良型ノイズ除去拡散確率モデル」.第38回国際機械学習会議論文集. PMLR: 8162– 8171.
25. Salimans, Tim; Ho, Jonathan (2021-10-06). 拡散モデルの高速サンプリングのための漸進的蒸留. 第10回国際学習表現会議 (ICLR 2022).
26. Lin, Shanchuan; Liu, Bingchen; Li, Jiashi; Yang, Xiao (2024). 共通拡散ノイズスケジュールとサンプルステップには欠陥がある. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). pp.  5404– 5411.
27. ダリワル、プラフラ;ニコル、アレックス (2021-06-01)。 「拡散モデルは画像合成で GAN に勝つ」。arXiv : 2105.05233 [cs.LG]。
28. Ho, Jonathan; Salimans, Tim (2022-07-25). 「分類器フリー拡散ガイダンス」. arXiv : 2207.12598 [cs.LG].
29. Chung, Hyungjin; Kim, Jeongsol; Park, Geon Yeong; Nam, Hyelin; Ye, Jong Chul (2024-06-12). 「CFG++: 拡散モデルのための多様体制約付き分類器フリーガイダンス」. arXiv : 2406.08070 [cs.CV].
30. Sanchez, Guillaume; Fan, Honglu; Spangher, Alexander; Levi, Elad; Ammanamanchi, Pawan Sasanka; Biderman, Stella (2023-06-30). 「分類子を使用しないガイダンスでトピックに沿った議論を続ける」arXiv : 2306.17806 [cs.CL].
31. Armandpour, Mohammadreza; Sadeghian, Ali; Zheng, Huangjie; Sadeghian, Amir; Zhou, Mingyuan (2023-04-26). 「ネガティブプロンプトアルゴリズムの再考：2次元拡散を3次元に変換し、ヤヌス問題とその先へ」arXiv : 2304.04968 [cs.CV].
32. ヤン、リン;張志龍。ソン、ヤン。ホン、シェンダ。シュウ・ルンシェン。趙、越。張文涛。崔、斌。ヤン・ミンシュアン (2022)。 「普及モデル: 手法とアプリケーションの包括的な調査」。arXiv : 2206.00364 [cs.CV]。
33. Shi, Jiaxin; Han, Kehang; Wang, Zhe; Doucet, Arnaud; Titsias, Michalis K. (2024). 「離散データに対する簡略化および一般化マスク拡散法」arXiv : 2406.04329 [cs.LG].
34. テロ、カラス;アイッタラ、ミイカ。アイラ、ティモ。サムリ州レイン（2022）。 「拡散ベースの生成モデルの設計空間の解明」。arXiv : 2206.00364v2 [cs.CV]。
35. 曹操、漢群;タン、チェン。高、張陽。徐宜倫。チェン、広永。ヘン、ペンアン。リー、スタン Z. (2024 年 7 月)。 「生成拡散モデルに関する調査」。知識およびデータエンジニアリングに関する IEEE トランザクション。36 (7): 2814–2830。ビブコード:2024ITKDE..36.2814C。土井：10.1109/TKDE.2024.3361474。ISSN  1041-4347。
36. Xu, Yilun; Liu, Ziming; Tian, Yonglong; Tong, Shangyuan; Tegmark, Max; Jaakkola, Tommi (2023-07-03). 「PFGM++：物理学に着想を得た生成モデルの潜在能力を解き放つ」.第40回国際機械学習会議議事録. PMLR: 38566– 38591. arXiv : 2302.04265 .
37. Song, Yang; Dhariwal, Prafulla; Chen, Mark; Sutskever, Ilya (2023-07-03). 「一貫性モデル」.第40回国際機械学習会議論文集. PMLR: 32211– 32252.
38. Dockhorn, Tim; Vahdat, Arash; Kreis, Karsten (2021-10-06). 「臨界減衰ランジュバン拡散法を用いたスコアベース生成モデリング」arXiv : 2112.07068 [stat.ML].
39. Liu, Ziming; Luo, Di; Xu, Yilun; Jaakkola, Tommi; Tegmark, Max (2023-04-05). 「GenPhys: 物理プロセスから生成モデルへ」. arXiv : 2304.02637 [cs.LG].
40. Bansal, Arpit; Borgnia, Eitan; Chu, Hong-Min; Li, Jie; Kazemi, Hamid; Huang, Furong; Goldblum, Micah; Geiping, Jonas; Goldstein, Tom (2023-12-15). 「Cold Diffusion: ノイズのない任意の画像変換の反転」. Advances in Neural Information Processing Systems . 36 : 41259–41282 . arXiv : 2208.09392 .
41. Gulrajani, Ishaan; Hashimoto, Tatsunori B. (2023-12-15). 「尤度ベース拡散言語モデル」.ニューラル情報処理システムの進歩. 36 : 16693–16715 . arXiv : 2305.18619 .
42. Lou, Aaron; Meng, Chenlin; Ermon, Stefano (2024-06-06). 「データ分布の比率推定による離散拡散モデリング」arXiv : 2310.16834 [stat.ML].
43. Tong, Alexander; Fatras, Kilian; Malkin, Nikolay; Huguet, Guillaume; Zhang, Yanlei; Rector-Brooks, Jarrid; Wolf, Guy; Bengio, Yoshua (2023-11-08). 「ミニバッチ最適トランスポートを用いたフローベース生成モデルの改良と一般化」. Transactions on Machine Learning Research . arXiv : 2302.00482 . ISSN  2835-8856.
44. Liu, Xingchao; Gong, Chengyue; Liu, Qiang (2022-09-07). 「Flow Straight and Fast: Rectified Flowを用いたデータ生成と転送の学習」. arXiv : 2209.03003 [cs.LG].
45. Liu, Qiang (2022-09-29). 「整流フロー：最適輸送への限界保存アプローチ」arXiv : 2209.14577 [stat.ML].
46. Ho, Jonathan; Saharia, Chitwan; Chan, William; Fleet, David J.; Norouzi, Mohammad; Salimans, Tim (2022-01-01). 「高忠実度画像生成のためのカスケード拡散モデル」. The Journal of Machine Learning Research . 23 (1): 47:2249–47:2281. arXiv : 2106.15282 . ISSN  1532-4435.
47. ピーブルズ、ウィリアム；謝、サイニング（2023年3月）「トランスフォーマーを用いたスケーラブルな拡散モデル」arXiv : 2212.09748v2 [cs.CV].
48. フェイ、ジェンコン;ファン・ミンユアン；ユウ、チャンキアン。リー、デバン。黄、潤士（2024-07-16）。 「拡散トランスを 160 億パラメータに拡張」。arXiv : 2407.11633 [cs.CV]。
49. テベット、ガイ;ラーブ、シガル。ゴードン、ブライアン。シャフィール、ヨナタン。コーエン・オル、ダニエル。ベルマーノ、アミット H. (2022)。 「ヒューマンモーション拡散モデル」。arXiv : 2209.14916 [cs.CV]。
50. Zhang, Lvmin; Rao, Anyi; Agrawala, Maneesh (2023). 「テキストから画像への拡散モデルへの条件制御の追加」arXiv : 2302.05543 [cs.CV].
51. Lugmayr, Andreas; Danelljan, Martin; Romero, Andres; Yu, Fisher; Timofte, Radu; Van Gool, Luc (2022). 「RePaint: ノイズ除去拡散確率モデルを用いたインペインティング」. arXiv : 2201.09865v4 [cs.CV].
52. Hertz, Amir; Mokady, Ron; Tenenbaum, Jay; Aberman, Kfir; Pritch, Yael; Cohen-Or, Daniel (2022-08-02). 「Cross Attention Controlを用いたプロンプト間画像編集」. arXiv : 2208.01626 [cs.CV].
53. 趙、鄭；ルオ、ツィウェイ。イェンス・シェーランド。シェーン、トーマス B. (2024)。 「生成拡散モデル内の条件付きサンプリング」。arXiv : 2409.09650 [stat.ML]。
54. Wang, Xintao; Xie, Liangbin; Dong, Chao; Shan, Ying (2021). 「Real-ESRGAN: 純粋な合成データを用いた実世界ブラインド超解像のトレーニング」(PDF) . IEEE/CVF 国際コンピュータビジョン会議 (ICCV) ワークショップ議事録, 2021.国際コンピュータビジョン会議. pp.  1905– 1914. arXiv : 2107.10833 .
55. Liang, Jingyun; Cao, Jiezhang; Sun, Guolei; Zhang, Kai; Van Gool, Luc; Timofte, Radu (2021). 「SwinIR: Swin Transformerを用いた画像復元」(PDF) . IEEE/CVF International Conference on Computer Vision (ICCV) Workshops Proceedings . International Conference on Computer Vision, 2021. pp.  1833– 1844. arXiv : 2108.10257v1 .
56. Nichol, Alex; Dhariwal, Prafulla; Ramesh, Aditya; Shyam, Pranav; Mishkin, Pamela; McGrew, Bob; Sutskever, Ilya; Chen, Mark (2022-03-08). 「GLIDE: テキスト誘導拡散モデルを用いたフォトリアリスティック画像生成および編集に向けて」arXiv : 2112.10741 [cs.CV].
57. Ramesh, Aditya; Dhariwal, Prafulla; Nichol, Alex; Chu, Casey; Chen, Mark (2022-04-12). 「CLIP Latents を用いた階層的テキスト条件付き画像生成」. arXiv : 2204.06125 [cs.CV].
58. Alammar, Jay. 「図解安定拡散」. jalammar.github.io . 2022年10月31日閲覧。
59. Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024-03-05). 「高解像度画像合成のための整流フロートランスフォーマーのスケーリング」arXiv : 2403.03206 [cs.CV].
60. Xie, Yiming; Yao, Chun-Han; Voleti, Vikram; Jiang, Huaizu; Jampani, Varun (2024-07-24). 「SV4D: マルチフレーム・マルチビューの一貫性を備えた動的3Dコンテンツ生成」. arXiv : 2407.17470 [cs.CV].
61. 「Imagen: テキストから画像への拡散モデル」imagen.research.google . 2024年4月4日閲覧。
62. Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay; Denton, Emily L.; Ghasemipour, Kamyar; Gontijo Lopes, Raphael; Karagol Ayan, Burcu; Salimans, Tim; Ho, Jonathan; Fleet, David J.; Norouzi, Mohammad (2022-12-06). 「深層言語理解によるフォトリアリスティックなテキストから画像への拡散モデル」. Advances in Neural Information Processing Systems . 35 : 36479– 36494. arXiv : 2205.11487 .
63. Chang, Huiwen; Zhang, Han; Barber, Jarred; Maschinot, AJ; Lezama, Jose; Jiang, Lu; Yang, Ming-Hsuan; Murphy, Kevin; Freeman, William T. (2023-01-02). 「Muse: マスク付き生成トランスフォーマーによるテキストから画像への生成」. arXiv : 2301.00704 [cs.CV].
64. 「Imagen 2 - 最も先進的なテキスト画像変換テクノロジー」Google DeepMind . 2024年4月4日閲覧。
65. Imagen-チーム-Google;ボールドリッジ、ジェイソン。バウアー、ヤコブ。ブータニ、ムクル。ブリヒトヴァ、ニコール。バンナー、アンドリュー。カトレホン、リュイス;チャン、ケルビン。チェン、宜昌 (2024-12-13)、Imagen 3、arXiv : 2408.07009 {{citation}}:|last1=一般的な名前があります（ヘルプ）
66. “Veo”. Google DeepMind . 2024年5月14日. 2024年5月17日閲覧。
67. 「Make-A-Videoの紹介：テキストから動画を生成するAIシステム」ai.meta.com . 2024年9月20日閲覧。
68. Singer, Uriel; Polyak, Adam; Hayes, Thomas; Yin, Xi; An, Jie; Zhang, Songyang; Hu, Qiyuan; Yang, Harry; Ashual, Oron (2022-09-29). 「Make-A-Video: テキストビデオデータを使用しないテキストビデオ生成」. arXiv : 2209.14792 [cs.CV].
69. 「CM3leonの紹介：より効率的で最先端のテキストと画像の生成モデル」ai.meta.com . 2024年9月20日閲覧。
70. カメレオンチーム (2024-05-16). 「カメレオン：混合モーダル早期融合基盤モデル」. arXiv : 2405.09818 [cs.CL].
71. 周、チュンチン;ゆう、リリ。バブ、アルン。ティルマラ、クシャル。安永道弘；シャミス、レオニード。カーン、ジェイコブ。マ、シュエゼ。ゼトルモイヤー、ルーク (2024-08-20)。 「輸血: 1 つのマルチモーダル モデルで次のトークンを予測し、画像を拡散する」。arXiv : 2408.11039 [cs.AI]。
72. Movie Gen: メディア基盤モデルのキャスト、Movie Genチーム@Meta、2024年10月4日。

Retrieved from "https://en.wikipedia.org/w/index.php?title=Diffusion_model&oldid=1322833828"