这本专著阐述了指导扩散模型发展的核心原则追潮了它们的起源并展示了各种不同的模型形式如何源于共同的数学思想旨在为具备深度学习基础知识的读者提供了对扩散模型的概念性和数学基础的理解。系统学习一下生成模型的各个流派变分视角分数视角流匹视角是否有大统一框架呢扩散模型与最优传输的秘密条件生成的模式快速采样的方式如何获得快速扩散生成器《扩散模型原理从起源到发展》揭开生成模型的神秘面纱专著The Principles of Diffusion Models系列阅读篇【扩散模型原理】一Deep Generative Modeling【扩散模型原理】二Variational Perspective: From VAEs to DDPMs【扩散模型原理】三Score-Based Perspective: From EBMs to NCSN【扩散模型原理】四Diffusion Models Today: Score SDE Framework【扩散模型原理】五Flow-Based Perspective: From NFs to Flow Matching【扩散模型原理】六A Unified and Systematic Lens on Diffusion Models【扩散模型原理】七Diffusion Models and Optimal Transport【扩散模型原理】八Guidance and Controllable Generation【扩散模型原理】九Sophisticated Solvers for Fast Sampling【扩散模型原理】十Distillation-Based Methods for Fast Sampling【扩散模型原理】十一Learning Fast Generators from ScratchRoadmap of This MonographParts A B: Foundations of Diffusion Models本节通过回顾塑造该领域的三个基础性视角追溯扩散模型的起源。Part A: Introduction to Deep Generative Modeling (DGM)第一章中回顾了深度生成模型的基本目标。从一组数据样本出发构建一个能够生成新样本的模型这些新样本看起来来自同一潜在且通常未知的数据分布。许多方法通过学习数据的分布方式来实现这一点无论是通过概率模型显式地还是通过学习到的转换隐式地。随后本章解释了这些模型如何用神经网络表示数据分布如何从样本中学习以及如何生成新样本。最后本章总结了主要生成框架的分类法强调了它们的核心思想和关键区别。Part B: Core Perspectives on Diffusion Models在概述了深度生成建模的总体目标与机制后我们现将研究重点转向扩散模型——这类方法通过噪声向数据的渐进转化来实现生成过程。我们考察了三个相互关联的框架每个框架均具有向前过程逐步添加噪声和逆向时间过程通过一系列逐步去噪模型进行近似的特征1变分视角第二章该方法源自变分自编码器VAEs其将扩散过程定义为通过变分目标学习去噪过程由此衍生出去噪扩散概率模型DDPMs。2分数视角第三章该方法植根于基于能量的模型EBMs并发展为噪声条件评分网络NCSN。它学习评分函数即数据对数密度的梯度用以指导如何逐步从样本中去除噪声。在连续时间下第四章引入评分 SDE 框架将此去噪过程描述为随机微分方程SDE其确定性版本则对应常微分方程ODE。这一视角把扩散建模与经典微分方程理论联系起来为分析与算法设计提供了坚实的数学基础。3流视角第五章基于归一化流理论NFs并经由流匹配方法Flow Matching的拓展该理论将生成过程建模为一种连续转换机制使样本从简单先验分布向数据分布迁移。这种演化过程通过常微分方程ODE中的速度场进行调控明确界定了概率质量随时间的移动规律。这种基于流的建模方法不仅适用于先验到数据的生成过程还能自然拓展到更广泛的分布间转换问题——即学习连接任意源分布与目标分布的流函数。尽管这些观点乍看之下似乎大相径庭但第六章揭示了它们之间深刻的内在联系。每种方法都运用了条件化策略将学习目标转化为可处理的回归问题。从更深层次来看它们都描述了概率分布从先验向数据演变的相同时间进程。这种演变遵循福克-普朗克方程的支配该方程可视为密度的连续时间变量变换确保了随机与确定性表述之间的内在一致性。由于扩散模型本质上是将一种分布运送到另一种分布的数学方法第七章深入探讨了其与经典最优传输理论及薛定谔桥的关联——后者可理解为带有熵正则化的最优传输。我们系统梳理了静态与动态两种数学表述阐释其与连续性方程及福克-普朗克理论的内在联系。对于注重实践应用的读者本章内容可作为选修章节而对于希望深入研究这些理论关联的读者则能获得严谨的数学基础支撑并指引经典文献的探索方向。Part C D: Controlling and Accelerating the Diffusion Sampling在基础原理统一后我们现将转向利用扩散模型进行高效生成的实际应用。从扩散模型中采样相当于求解一个微分方程。然而这一过程通常计算成本较高。C部分和D部分通过增强采样和学习加速技术着重提升生成质量、可控性和效率。Part C: Sampling from Diffusion Models扩散模型的生成过程呈现出独特的粗到细的精炼特征通过逐步消除噪声最终生成结构更加连贯、细节更加丰富的样本。这种特性也伴随着权衡。积极的一面是它提供了精细的控制能力——通过在学习得到的时变速度场中加入引导项我们可以引导常微分方程流体的流动方向以反映用户意图使采样过程可控。消极的一面则是所需的迭代积分运算使得采样速度较单次生成器更慢。本部分重点在于优化推理阶段的生成过程无需重新训练即可实现。1引导生成第八章通过分类器引导和无分类器引导等技术可使生成过程根据用户定义的目标或属性进行调节。在此基础上我们进一步探讨如何利用偏好数据集使扩散模型更符合这些偏好。2利用数值求解器快速生成第九章通过采用先进的数值求解器可在更少步骤内近似实现逆向过程从而显著加速采样同时在保证质量的前提下降低成本。Part D: Learning Fast Generative Models除改进现有采样算法外我们还研究如何直接学习近似扩散过程的快速生成器。1基于蒸馏的方法第十章该方法的核心在于训练学生模型使其能够模仿预训练慢扩散模型教师模型的行为。其目标并非缩小教师模型的规模而是通过大幅减少积分步骤通常仅需少量甚至单次来复现其采样轨迹或输出分布。2从头学习第十一章由于扩散模型中的采样可视为求解常微分方程ODE该方法无需依赖教师模型即可直接从头学习解映射即流映射。所学映射可直接将噪声转化为数据或更广泛地沿解轨迹进行任意时间点间的跳跃。开始我们的学习吧(︶)↗[GO!]