07 生成式 AI进阶本域第 4 篇

扩散模型

学会上千次微小的去噪，就学会了从纯噪声里造出一张图

定义

扩散模型定义一条逐步加噪的前向过程，把数据逐渐变成近似高斯噪声；再训练一个网络学习该过程的逆过程，从噪声一步步还原数据。生成时从纯噪声出发，反复应用学到的去噪步骤，最终得到样本。DDPM 把这一过程写成离散马尔可夫链，采样通常需要上千步；DDIM 等确定性采样器能在几十步内得到相近结果。

直观理解

与其要求一支笔「一气呵成」画出一幅画，不如训练它把一张被噪声糊住的照片擦干净。擦一点点，是容易学会的任务；把上千次擦拭串起来，就等于从一团纯噪声里凭空生成一张图。把难问题拆成一串小问题，正是扩散模型比 GAN 更好训练的原因。

图 1

前向加噪把图像逐步变成噪声（上排），反向去噪从噪声一步步还原图像（下排）

图 2

确定性采样器的 FID 随步数下降：DDIM 需近百步才接近饱和，DPM-Solver 等高价采样器二三十步即可达到相近质量（CIFAR-10 量级）

01
前向加噪
按固定的噪声调度，逐步向数据加入高斯噪声，直到数据几乎变成纯噪声。整个过程没有可学参数，纯粹是一个破坏过程。
02
学习反向去噪
训练一个网络预测每一步加入的噪声（或等价地预测被污染的图像）。由于加噪过程已知，给定带噪图和步数，正确答案是确定的——这让训练退化为一个稳定的回归问题。
03
反向采样
从标准正态噪声出发，网络逐步估计并减去噪声，得到一个越来越清晰的样本。DDPM 的每一步都注入随机性，DDIM 则改用确定性路径，从而允许更大的步长与更少的采样步数。
04
无分类器引导
训练时随机丢弃条件（如文本），迫使同一个网络既能条件生成也能无条件生成。采样时把两者的预测按引导系数外推，就得到一条从「多样」到「贴题」的连续旋钮：系数越大越忠于提示，但多样性下降。

xₜ = √(ᾱₜ) · x₀ + √(1 − ᾱₜ) · ε, ε ~ N(0, I)

闭式加噪：任意时刻 t 的带噪图像可由原图与一个标准高斯噪声直接给出，这就是训练目标得以确定的原因。