【词汇专栏】扩散模型（Diffusion Model）：AI 是怎么“画“出一张图的？

扩散模型Diffusion ModelAI 是怎么画出一张图的你输入一句话AI 生成了一张精美的图片。这背后不是什么神奇魔法而是一个极其优雅的数学过程——先把图片毁掉再学会修复它。这就是扩散模型。一句话定义扩散模型Diffusion Model是一种通过逐步加噪再逐步去噪的过程来学习生成高质量图像的深度学习模型是 Stable Diffusion、Midjourney 等 AI 绘图工具的底层技术。为什么叫扩散扩散这个名字来自物理学中的布朗运动在一杯清水中滴入一滴墨水墨水分子不断扩散最终均匀分布于整杯水中清晰的墨迹 → 随机的噪声分布扩散模型的核心思路正是这个过程的逆转清晰图像 → 逐步加噪 → 纯噪声正向扩散Forward Process纯噪声 → 逐步去噪 → 清晰图像逆向扩散Reverse Process通俗类比雕塑家的工作方式传统生成模型GAN的思路画家从空白画布开始一笔笔直接画出作品。扩散模型的思路雕塑家不是从零开始雕而是先拿到一块已经完成的雕像训练图片用砂纸不断打磨直到雕像变成一堆沙子加噪学习如何从沙子恢复成雕像学习去噪遇到新的一堆沙子随机噪声就用学到的技能一步步雕刻出新作品技术层面扩散模型的工作原理第一阶段正向扩散训练前准备对训练图像逐步添加高斯噪声原始图像清晰 ↓ 加一点噪声 略微模糊的图像t1 ↓ 再加噪声 更模糊的图像t100 ↓ 继续加 ... 纯随机噪声t1000这个过程有严格的数学公式控制每一步的噪声量都是可以精确计算的。第二阶段训练去噪网络训练一个神经网络通常是 U-Net 架构让它学会给定一张加了 t 步噪声的图像预测应该去掉多少噪声输入[噪声图像] [时间步 t] [文字描述可选] ↓ U-Net 神经网络 ↓ 输出这一步应该去掉的噪声训练完成后模型掌握了在任意噪声程度下如何让图像更清晰一点的能力。第三阶段推理生成你实际使用的过程从纯随机噪声开始如果有文字提示则把文字编码输入 ↓ 去噪 1 步t1000→999 ↓ 去噪 1 步t999→998 ... ↓ 去噪 1 步t1→0 生成与文字描述匹配的清晰图像每步去噪图像都朝着符合描述的真实图像方向进化。文字如何控制图像——CLIP 的作用单纯的扩散模型只能生成随机图像怎么让它按照文字生成答案是CLIPContrastive Language-Image Pre-trainingCLIP 由 OpenAI 在 2021 年发布它学习了文字描述和图像内容之间的对应关系把文字提示词编码成向量作为扩散模型的引导信号一只橙色的猫坐在月亮上 ↓ CLIP 文字编码器 向量 [0.23, -0.41, 0.87, ...] ↓ 作为条件信号 扩散模型的每步去噪都向这个方向靠近 ↓ 最终生成符合描述的图像扩散模型 vs GAN为什么扩散模型赢了在扩散模型出现之前GAN生成对抗网络是图像生成的主流GAN 造假者 vs 鉴别者的博弈2014 年由 Ian Goodfellow 提出对比GAN扩散模型图像质量高但不稳定非常高稳定训练难度困难模式崩溃问题相对稳定多样性有限容易重复相似图高可控性较弱强CLIP引导速度快慢需要多步去噪代表产品早期 GAN 艺术Stable Diffusion、Midjourney、DALL·E 3扩散模型的最大缺点是慢需要几十步到几百步去噪但研究者通过DDIM、LCM 等加速方法已经把步数从 1000 步压缩到 4-8 步大大提高了速度。潜空间扩散LDMStable Diffusion 的秘密普通扩散模型在原始像素空间工作一张 512×512 的图有 786,432 个像素计算量巨大。Stable Diffusion 的创新Latent Diffusion ModelLDM潜空间扩散模型原始图像512×512像素 ↓ VAE 编码器 压缩 8 倍 潜空间表示64×64更紧凑 ↓ 在潜空间里做扩散加噪/去噪 潜空间表示64×64 ↓ VAE 解码器 还原 生成图像512×512像素效果在潜空间做扩散计算量减少 64 倍8×8同等算力下能生成更多、更快。这就是 Stable Diffusion 能在消费级显卡上运行的关键原因。知名产品使用了哪些扩散模型技术产品底层技术Stable DiffusionLDM开源可本地运行Midjourney自研扩散模型高度优化DALL·E 3扩散模型 ChatGPT 提示词优化Adobe Firefly基于 SD 架构训练数据版权友好Sora视频生成基于扩散 Transformer 的 DiT 架构可灵 AI扩散模型的视频扩展常见误区误区真相“AI 绘画是从无到有凭空创造”⚠️ 起点是随机噪声但每步都被训练数据中的规律所引导“扩散模型能记住训练图片”⚠️ 有时会复现训练数据但主要是学习统计规律“Midjourney 和 Stable Diffusion 原理一样”⚠️ 都基于扩散但架构和训练策略有很大差异“图像质量越高步骤越多越好”❌ 超过一定步数后质量提升边际递减过多反而浪费计算易混淆词辨析扩散模型 vs GAN两种不同的生成图像方式扩散更稳定更主流扩散模型 vs VAEVAE 是压缩/重建工具扩散模型是生成工具两者在 LDM 中合作Stable Diffusion vs ControlNetSD 是生成底层ControlNet 是给 SD 加上精准控制的附加模块如骨骼控制、边缘控制一句话总结扩散模型是先毁掉再修复——通过学习如何从噪声中还原清晰图像它掌握了从零生成任何图像的能力。这个优雅的逆向思维让 AI 绘画从实验室走进了每个人的手机。标签#AI术语#扩散模型#DiffusionModel#StableDiffusion#AI绘画#DALL·E#Midjourney