MIT 6.S184 学习笔记：Diffusion 与 Flow Matching

0. A Reminder on Probability Theory

后面所有 flow matching 和 diffusion 的公式，本质上都在操作概率分布。因此先把 Appendix A 里的概率论记号放在最前面。这里不是为了完整复习概率论，而是为了固定这门课会反复使用的几个对象。

0.1 Random vectors and PDFs

课程里主要处理连续向量：

一个随机向量记作

如果 $X$ 有连续概率密度函数，也就是 PDF：

那么事件 $X\in A$ 的概率为

概率密度必须归一化：

如果积分区域没有特别写，默认是在整个空间 $\mathbb R^d$ 上积分。

随机变量 $X_t$ 的 density 经常简写成

也就是说，当我们写

时，意思是 $X_t$ 的分布密度是 $p_t$。

0.2 Gaussian distribution

生成模型里最常见的简单分布是 isotropic Gaussian：

其中：

• $\mu\in\mathbb R^d$ 是均值；
• $\sigma>0$ 是标准差；
• $\sigma^2I$ 表示每个维度方差相同，且不同维度之间没有相关性。

后面 Gaussian probability path 会反复使用这个形式：

它的含义就是：在给定 clean data $z$ 的情况下，$x$ 是一个以 $\alpha_tz$ 为均值、噪声尺度为 $\beta_t$ 的高斯随机变量。

0.3 Expectation and LOTUS

随机向量的期望是

它也可以被理解成在 least-squares sense 下最接近随机变量 $X$ 的常数向量：

如果要计算随机变量函数的期望，可以直接用 density 积分：

这叫 law of the unconscious statistician，简称 LOTUS。后面各种 loss 都是这种形式，例如

它的意思就是：按指定方式采样 $t,z,\epsilon$，再对括号里的函数取平均。

0.4 Joint density and marginals

如果有两个随机变量 $X,Y$，它们的 joint PDF 记作

joint density 描述的是 $(X,Y)$ 同时取某组值的密度。只关心其中一个变量时，需要把另一个变量积分掉：

这两个分布叫 marginals。

图 21 中，橙色阴影是 joint PDF：

上方黑线是把 $y$ 积掉后得到的 $p_X(x)$，右侧黑线是把 $x$ 积掉后得到的 $p_Y(y)$。

这和 flow matching 里的 marginal path 是同一个思想。我们有联合采样：

它对应联合密度

把 $z$ 积掉，就得到 $x$ 的 marginal：

0.5 Conditional density and Bayes’ rule

conditional density 定义为

其中要求 $p_Y(y)>0$。

它表示：在已经知道 $Y=y$ 的情况下，$X$ 的分布。

Bayes’ rule 把反方向的条件分布写出来：

这个公式在 flow matching 和 score matching 中非常重要。比如给定 noisy sample $x$ 后，背后的 clean data $z$ 的 posterior 是

这个权重反复出现在：

以及

也就是说，marginal velocity 和 marginal score 都是 conditional 对象按 posterior 权重做平均。

0.6 Conditional expectation

conditional expectation 可以先看成一个函数：

它表示：已知 $Y=y$ 后，对 $X$ 的平均估计。

如果把 $y$ 换成随机变量 $Y$ 本身，就得到另一个随机变量：

这两个记号容易混：

• $\mathbb E[X\mid Y=y]$ 是 $y$ 的函数；
• $\mathbb E[X\mid Y]$ 是随机变量，因为它等于把函数作用在随机变量 $Y$ 上。

conditional expectation 还有一个 least-squares 解释：

是所有只依赖 $Y$ 的函数里，对 $X$ 做均方误差预测的最优函数。这一点正是 Theorem 12 背后的统计直觉：网络只看到 noisy sample $x$，而 target 还依赖隐藏的 $z$，MSE 下最优预测就是对 $z\mid x$ 的条件平均。

0.7 Tower property

tower property 是

意思是：先在给定 $Y$ 的情况下对 $X$ 取平均，再对 $Y$ 的随机性取平均，结果等于直接对 $X$ 取平均。

用 density 写就是

后面只要看到“先条件平均，再整体平均”，本质上都在使用这个思想。

最后，对任意函数 $f(X,Y)$，有

这会帮助理解很多带条件的 loss 和 posterior average。

这一节最重要的连接是：

这门课里的 marginalization trick、score posterior average、denoiser、Theorem 12，本质上都在反复使用 joint density、marginal density、Bayes rule 和 conditional expectation。

1. Generative Modeling as Sampling

生成模型首先要解决的并不是“如何画出一张图片”，而是更抽象的问题：如何从一个分布中采样。图像、视频、分子结构看起来是不同的数据类型，但都可以统一看成某个高维空间中的向量：

例如，一张 RGB 图片可以看成 $H \times W \times 3$ 个数，一个视频可以看成一串图片，一个分子结构也可以用原子坐标组成的向量表示。这样一来，“生成对象”就变成了“生成一个向量”。

接下来我们需要描述什么叫“生成得好”。以生成一张狗的图片为例，并不存在唯一正确的狗图。合理的狗图有很多种，因此我们用一个概率分布来描述这些可能对象的集合。这个分布记作

于是生成任务就被形式化为：

这句话是整个课程的起点。我们并不知道 $p_{\text{data}}$ 的显式表达式；训练时真正拥有的是有限个样本：

也就是说，数据集只是这个未知分布的有限观察。生成模型的目标，是利用这些样本构造一个算法，使它训练后能够产生新的、近似来自 $p_{\text{data}}$ 的样本。

如果加入条件，例如文本 prompt $y$，问题就变成条件采样：

这就是 guided generation 或 conditional generation。前面先讨论 unconditional case，因为条件生成的很多方法是在无条件生成的基础上扩展出来的。

Summary 2 的中文整理

本节的结论可以概括为四点。第一，本课程主要研究可以表示成向量的对象，例如图像、视频和分子结构：

第二，生成就是从数据分布中采样：

第三，如果有条件变量 $y$，则目标变成：

第四，我们的目标是构造一个 generative model，使它训练完成后能够返回来自 $p_{\text{data}}$ 的样本，或者至少返回近似来自这个分布的样本。

到这里，生成模型的问题已经从直观任务变成了一个数学任务：给定样本，学习如何从未知数据分布中采样。

2. Flow and Diffusion Models

2.1 Flow Models: 用 ODE 搬运分布

采样算法可以通过动力系统来构造：从一个简单分布开始，让样本沿着某种运动规则演化，最后希望它们落在数据分布上。

我们先从确定性的动力系统开始，也就是 ODE。

一个轨迹是时间到空间位置的函数：

这里 $X_t$ 表示粒子在时间 $t$ 的位置。要规定这个粒子如何运动，我们引入向量场：

向量场的含义是：在时间 $t$、位置 $x$，粒子的瞬时速度应该是 $u_t(x)$。于是轨迹满足的 ODE 写成

这条公式的意思很直接：轨迹在每个时刻都沿着向量场给出的方向前进。

与 ODE 对应的 flow map 记作

它回答的问题是：如果粒子从 $x_0$ 出发，按照这个 ODE 走到时间 $t$，它会在哪里？因此

所以，vector field、ODE 和 flow 是同一个动力系统的三种描述方式：向量场规定局部速度，ODE 规定轨迹如何跟随这个速度，flow 则描述初始点被整体搬运到哪里。

图中蓝色箭头是向量场，红色网格表示空间被 flow 扭曲后的样子。这个图很重要，因为它提醒我们：flow model 不是在单独移动一个点，而是在整体搬运空间里的概率质量。

一个简单例子是线性向量场：

对应的 ODE 为

它的 flow 是

这个例子可以这样理解：点离原点越远，被拉回原点的速度越大；随着时间增加，所有点都会指数式靠近 0。后面 OU process 正是在这个稳定 drift 上加入 Brownian noise。

一般情况下，我们很难显式写出 $\psi_t$，因此需要数值模拟。最简单的是 Euler method：

也就是每次沿当前速度走一小步。Heun’s method 则先用 Euler 猜一步，再用当前点和预测点的速度平均来修正：

现在可以定义 flow model。ODE 本身是确定性的，如果初始点固定，终点也固定。但生成模型需要随机性，所以随机性放在初始条件中：

通常取

然后用神经网络参数化向量场：

我们的目标是让终点分布满足

这里要特别注意：神经网络学习的是 $u_t^\theta$，也就是速度场；flow $\psi_t^\theta$ 不是直接给出的，而是通过模拟 ODE 得到的。

2.2 Diffusion Models: 从 ODE 到 SDE

Flow model 使用确定性 ODE。Diffusion model 则把确定性轨迹推广成随机轨迹，也就是 SDE。

一个随机过程写作

这意味着每个 $X_t$ 都是随机变量，而且同一个过程模拟两次，可能得到两条不同的轨迹。SDE 的随机性来自 Brownian motion，记作 $W_t$。可以把 Brownian motion 理解成连续时间随机游走。

Brownian motion 有两个性质非常关键。第一是 normal increments：

这说明它的增量均值为 0，方差随时间长度线性增长。因此在长度为 $h$ 的小时间步内，随机扰动的尺度是 $\sqrt h$，这就是后面 Euler-Maruyama 公式里 $\sqrt h$ 的来源。

第二是 independent increments：不重叠时间区间上的增量相互独立。直观地说，过去的随机波动不会预示未来的随机波动。

因此 Brownian motion 可以近似模拟为

为了把随机扰动加入动力系统，我们先把 ODE 改写成小步更新形式。这样做的原因是 Brownian motion 的轨迹虽然连续，但非常粗糙，不能像普通光滑函数那样直接求导。

ODE

可以等价地理解为小步更新：

其中当 $h\to 0$ 时，$R_t(h)$ 可以忽略。SDE 在这个小步更新中加入 Brownian motion 的随机增量：

符号上通常写成

这里 $u_t(X_t)\,dt$ 是 deterministic drift，$\sigma_t\,dW_t$ 是 stochastic diffusion，$\sigma_t$ 是 diffusion coefficient。

Ornstein-Uhlenbeck process 是理解这类 SDE 的一个标准例子：

OU process 的 SDE 是

其中 $-\theta X_t\,dt$ 把系统拉回 0，$\sigma\,dW_t$ 持续注入随机性。若 $\sigma=0$，它就退化为前面学过的线性 ODE flow；若 $\sigma>0$，路径会随机抖动，但整体仍被 drift 拉回中心，并在长时间后趋向稳定高斯分布：

所以 OU process 可以看成两个机制的平衡：drift 提供稳定性，noise 提供随机性。

为了模拟 SDE，我们使用 Euler-Maruyama method。由于

可以写成

代入 SDE 的小步形式，得到

这就是 Euler-Maruyama method。

现在可以定义 diffusion model。它由一个神经网络 drift 和一个固定 diffusion coefficient 组成：

其中 $u_t^\theta$ 是要学习的向量场，$\sigma_t$ 是预先指定的噪声强度。采样时从 $p_{\text{init}}$ 出发，模拟这个 SDE 到 $t=1$，希望得到

Summary 7 的中文整理

在这里，一个 diffusion model 由两部分构成。神经网络

参数化 drift / vector field；固定函数

控制随机噪声强度。生成时先采样

再模拟

目标是让

当 $\sigma_t=0$ 时，随机项消失，diffusion model 就变成 flow model。因此 flow model 是 diffusion model 的一个特殊情况。

3. Flow Matching：从分布路径到可训练的速度场

到这里为止，我们已经知道如何用 ODE 或 SDE 定义生成模型。两者的共同目标都是

区别在于 flow model 使用确定性 ODE：

而 diffusion model 使用带随机噪声的 SDE：

但这时还有一个核心问题没有回答：神经网络 $u_t^\theta$ 应该如何训练？

Flow Matching 先把问题限制在 flow model 中，也就是先不考虑随机噪声：

我们希望训练后

3.1 Conditional and Marginal Probability Path

现在先回到 flow model。模型从简单初始分布采样：

然后沿着神经网络给出的速度场演化：

最后用 $t=1$ 的位置作为生成样本。我们希望这个终点满足

训练问题因此可以写得非常直接：怎样优化参数 $\theta$，使得模拟这个 ODE 之后，终点分布就是数据分布？Flow Matching 的回答并不是直接处理终点，而是先安排整个中间过程。也就是说，我们不只关心

还要指定每个中间时间

时，样本应该服从什么分布。

这个随时间变化的一族分布称为 probability path。它可以被理解成“分布空间中的一条轨迹”：起点是噪声分布，终点是数据分布。

图中每一列都可以理解成某个时间 $t$ 下的样本状态。左边接近纯噪声，越往右数字结构越明显，最后得到清晰的数据样本。这里展示的是一条从噪声到数据的路径，而 Flow Matching 接下来要做的，就是学习一个速度场，让 ODE 的样本也沿着这样的路径移动。

为了更精确地定义这条路径，先固定一个数据点

用 $\delta_z$ 表示 Dirac delta distribution。它是最简单的一种“分布”：从 $\delta_z$ 采样，永远只会得到 $z$。因此可以把它理解成“所有概率质量都集中在数据点 $z$ 上”。

现在定义 conditional probability path：

它是一族关于 $x$ 的分布，并且满足两个边界条件：

这两个条件的意思是：

• 当 $t=0$ 时，不管目标数据点 $z$ 是什么，分布都等于初始噪声分布；
• 当 $t=1$ 时，分布塌缩到这个具体数据点 $z$。

所以 conditional probability path 描述的是：如何把一个简单初始分布逐渐变成某一个固定数据点。

这里的 “conditional” 很重要。它不是直接从噪声分布变成整个 $p_{\text{data}}$，而是先问：如果目标是某个具体样本 $z$，那么从噪声到这个 $z$ 的中间分布可以怎样安排？

这个构造看起来像是在“记住训练样本”，但它只是一个中间工具。下一步会把所有 $z \sim p_{\text{data}}$ 的 conditional paths 汇总起来，得到真正从噪声分布到数据分布的 marginal probability path。

这一页可以先记住一句话：

Flow Matching 先人为指定一条从噪声到数据的 probability path；训练速度场之前，先规定每个时间点的分布应该是什么。

Conditional path、marginal path 与 Gaussian path

固定一个数据点 $z$ 时，conditional probability path

描述的是从噪声分布到单个点 $z$ 的路径：

但生成模型真正要学习的不是“到某一个固定点 $z$ 的路径”，而是“到整个数据分布 $p_{\text{data}}$ 的路径”。这一步通过把 $z$ 也看成随机变量完成：

由这个两步采样过程得到的 $x$ 的分布，记作 $p_t$：

如果写成密度，就是

这里有一个细节很重要：我们可以从 $p_t$ 中采样，但通常不能计算 $p_t(x)$ 的具体数值。原因是上面的积分需要对所有可能的数据点 $z$ 做积分，而真实的 $p_{\text{data}}$ 本来就是未知的。

因此：

sampling from $p_t$ is easy; evaluating $p_t(x)$ is hard.

采样很简单，因为只需要：

1. 从数据集中取一个样本 $z$；
2. 从 conditional path $p_t(\cdot\mid z)$ 中采一个 $x$。

但计算密度值

需要完成不可行的积分。

图 5 正好展示了这个区别。上排是 conditional path：目标数据点 $z$ 固定，所以分布从高斯噪声逐渐收缩到一个点。下排是 marginal path：每次先随机选一个数据点 $z\sim p_{\text{data}}$，再沿着对应的 conditional path 采样；所有这些 conditional paths 混合起来，就形成了从噪声分布到整个数据分布的路径。

由于每个 conditional path 都满足

因此 marginal path 自动满足

这正是生成模型需要的分布级别路径。

Gaussian conditional probability path

最重要的一类 probability path 是 Gaussian path。它也是许多大规模生成模型中使用的基本形式。

先选择两个随时间变化的 scheduler：

它们满足边界条件：

也就是说，$\alpha_t$ 从 0 增加到 1，$\beta_t$ 从 1 减小到 0。然后定义

这个公式的含义很清楚：在时间 $t$，样本分布是一个高斯分布，它的均值是 $\alpha_t z$，方差尺度是 $\beta_t^2$。

当 $t=0$ 时，

当 $t=1$ 时，

所以 Gaussian path 正好满足 conditional probability path 的要求。

从这个分布采样也非常简单。令

则

满足

这个公式以后会反复出现。它是 diffusion 和 flow matching 训练中最基本的“加噪”形式：用 $\alpha_t$ 保留数据，用 $\beta_t$ 注入噪声。

一个最简单的选择是

于是

这时 $x_t$ 就是数据 $z$ 和噪声 $\epsilon$ 的线性插值：$t=0$ 时是纯噪声，$t=1$ 时是纯数据。

这一页的重点可以概括为：

Conditional path 连接噪声和单个数据点；marginal path 把所有 conditional paths 按 $z\sim p_{\text{data}}$ 混合起来，因此连接噪声分布和整个数据分布。

3.2 Conditional and Marginal Vector Fields

Gaussian path 给出了一个非常方便的采样公式：

于是

这里 $p_t$ 是 marginal probability path。直观上，$t$ 越小，$\beta_t$ 越大，样本里噪声成分越多；$t$ 越接近 1，$\alpha_t$ 越大，样本越接近真实数据。

到这里，probability path 只规定了一个愿望：

也就是说，我们希望 ODE 的粒子在每个时间 $t$ 的分布等于 $p_t$。但是仅仅指定分布路径还不够，因为生成时真正要模拟的是 ODE：

因此新的问题变成：

能不能找到一个速度场 $u_t$，使得沿着这个 ODE 运动的样本，在每个时间 $t$ 都服从我们指定的 $p_t$？

Flow Matching 的核心就是构造这样的速度场。

先固定一个数据点 $z$。如果存在一个 conditional vector field

使得

能够推出

那么这个 $u_t^{\text{target}}(x\mid z)$ 就是 conditional vector field。它的作用是把初始噪声分布按照指定的 conditional path 推到某个固定的数据点 $z$。

乍看起来，这个对象似乎没有什么生成意义。因为如果 $z$ 固定，那么所有终点都会塌缩到

这只是“生成已知样本 $z$”，不是从 $p_{\text{data}}$ 中生成新样本。但它的价值在于：conditional vector field 是构造 marginal vector field 的 building block。

Theorem 9: Marginalization Trick

如果已经有 conditional vector field

那么可以定义 marginal vector field：

这个公式看起来复杂，但它其实就是一个条件期望：

其中

就是在给定当前 noisy sample $x$ 的情况下，数据点 $z$ 的 posterior 权重。换句话说：如果当前看到的是 $x$，那么不同的 $z$ 都可能是它背后的 clean data，公式会按照这些可能性给对应的 conditional velocity 加权平均。

定理说，用这个 marginal vector field 模拟 ODE：

就会得到

特别地，

所以 $u_t^{\text{target}}(x)$ 才是真正意义上的生成速度场：它把噪声分布推到整个数据分布。

图 6 展示了这个定理的含义。上排固定一个数据点 $z$，conditional vector field 让样本沿着 conditional path 走，最后收缩到这个点。下排把所有 $z$ 的影响混合起来，marginal vector field 让样本分布沿着 marginal path 演化，最后形成整个数据分布。

这一页非常关键，因为它解释了 Flow Matching 的基本策略：

1. 先构造容易写出来的 conditional vector field；
2. 理论上存在一个 posterior average 后的 marginal vector field；
3. 真正生成时需要的是 marginal vector field；
4. 后面训练神经网络时，会用 conditional vector field 作为可计算 target，却学到 marginal vector field。

最后一句是之后 Theorem 12 的核心，也是 Flow Matching 为什么能训练的根本原因。

Gaussian path 的 conditional velocity

现在要把 Gaussian conditional path 的速度场算出来。我们已经定义了：

等价地，从这个 path 采样可以写成

这已经暗示了一个自然的 flow：

如果初始点是 $x$，那么时间 $t$ 的位置就是 $\alpha_t z+\beta_t x$。当 $x$ 本身来自标准高斯时，

这就说明这个 flow 的样本分布正好等于我们指定的 conditional probability path。

接下来从 flow 中提取 vector field。按定义，flow 和 vector field 满足：

左边直接对时间求导：

因此

现在要把右边的初始噪声变量 $x$ 换成当前位置。设当前位置为

则

代回去：

整理得到

把当前位置重新记成 $x$，就得到：

这个公式可以这样理解：速度由两部分组成。一部分依赖目标数据点 $z$，负责把样本往目标方向拉；另一部分依赖当前位置 $x$，负责处理当前噪声尺度随时间缩小的影响。

如果使用最简单的 CondOT path：

那么

把这个选择代入一般公式，先得到的是“当前位置 $x$ 处的速度场”：

因此

这个式子里的 $x$ 是任意当前位置。若当前位置正好位于 Gaussian path 上，

则

这和直接对路径

求导得到的结果一致：

所以这个特殊情况下，conditional vector field 在训练样本 $x_t$ 处的 target 会变得非常简单：

这也是后面 Algorithm 3 里 Flow Matching loss 的核心 target。

这一段的意义在于：对于 Gaussian path，我们不仅能指定中间分布，还能显式写出让 ODE 跟随这条 path 的 conditional velocity。后面训练神经网络时，就可以把这个可计算的 velocity 当作监督信号。

Continuity equation 与 marginalization trick 的证明

前面已经写出了 marginalization trick：

现在需要解释为什么这个速度场真的能让 ODE 的分布沿着 marginal path $p_t$ 走。这里用到的工具是 continuity equation。

考虑一个 flow model：

如果这个 ODE 在每个时间 $t$ 的样本分布都是 $p_t$，也就是

那么 $p_t$ 和速度场之间必须满足

这就是 continuity equation。

这个公式可以从概率质量守恒来理解。左边

表示位置 $x$ 处的概率密度随时间怎么变化。右边的 divergence 描述概率质量的流出程度：

可以理解成在位置 $x$ 附近，概率质量沿着速度场向外流走的净量。因此前面加负号：

表示净流入。某处密度增加，是因为流入大于流出；某处密度减少，是因为流出大于流入。

所以 continuity equation 说的就是：

概率密度的时间变化 = 概率质量的净流入。

这和流体力学里的质量守恒是同一个思想，只是这里流动的是概率质量。

有了这个方程，就可以证明 Theorem 9。marginal path 的密度是

对时间求导：

因为 conditional vector field 能实现 conditional path，所以每个 $p_t(x\mid z)$ 都满足自己的 continuity equation：

代入上式：

把 divergence 和积分交换，就得到

而 marginal vector field 的定义正是

两边乘上 $p_t(x)$：

因此

这说明 marginal vector field 满足 continuity equation，所以它确实会让 ODE 的样本分布沿着 marginal path $p_t$ 演化。

这个证明的核心并不是复杂计算，而是一个很干净的结构：

1. 每个 conditional path 都有自己的速度场；
2. 每个 conditional path 都满足 continuity equation；
3. marginal path 是 conditional paths 的混合；
4. conditional velocities 按 posterior 权重平均后，得到的 marginal velocity 正好让混合分布也满足 continuity equation。

到这里，Flow Matching 的理论目标已经清楚了：如果能学到

那么从噪声出发模拟 ODE，就能得到数据分布。下一步的问题是训练：这个 marginal vector field 里面有不可计算的积分，神经网络怎样学到它？

3.3 Learning the Marginal Vector Field

现在目标已经明确：训练一个神经网络

去逼近真正的 marginal vector field

如果能够做到

那么模拟

就会得到近似满足

的生成模型。

最直接的想法是用均方误差：

这个 loss 的含义很自然：随机取一个时间 $t$，再从对应的 marginal path $p_t$ 里取一个点 $x$，让网络输出的速度接近真正的 marginal velocity。

由于从 $p_t$ 采样可以通过 conditional path 完成，

所以同一个 loss 也可以写成

问题在于，这个 loss 仍然不可计算。困难不在采样 $x$，而在 target：

这个 target 是对所有可能数据点 $z$ 的 posterior average，里面有不可计算的积分，也包含未知的 $p_t(x)$。

Flow Matching 的关键转折是：不用直接回归 marginal target，而是回归 conditional target：

这个 loss 是可计算的，因为 $u_t^{\text{target}}(x\mid z)$ 对我们选择的 probability path 通常有解析公式。比如 Gaussian path 中，上一节已经算出：

现在看起来有一个矛盾：我们真正想学的是 marginal vector field

但训练时却让网络拟合 conditional vector field

Theorem 12 正是 Flow Matching 的核心。它说：

其中 $C$ 与 $\theta$ 无关。因此

也就是说，优化可计算的 $L_{\text{CFM}}$，等价于优化不可计算的 $L_{\text{FM}}$。如果模型表达能力足够强，最优的网络会学到 marginal vector field：

这个结论的直觉其实就是均方误差的条件期望性质。对于固定的 noisy point $x$，conditional target

会随着背后的 $z$ 改变。均方误差下，最好的预测不是某一个具体 $z$ 对应的速度，而是这些可能速度的条件平均：

而这个条件平均正是 marginal vector field：

Theorem 12 的证明思路

证明不需要神秘技巧，只是展开平方项。先从 marginal loss 开始：

用

展开：

其中

不依赖 $\theta$，所以对训练梯度来说只是常数。

第一项

可以直接改写成 conditional sampling：

关键是第二个内积项：

把 marginal vector field 的定义代入：

于是

这一步是证明里最重要的一步：marginal target 出现在内积里时，可以换成 conditional target。

代回展开式后，再补上并减去

就得到

其中 $C$ 不依赖 $\theta$。

这说明 Flow Matching 的训练可以完全避免显式计算 marginal vector field。训练时只需要：

1. 采样时间 $t$；
2. 采样数据 $z$；
3. 从 $p_t(\cdot\mid z)$ 采样 noisy point $x$；
4. 让网络预测 conditional velocity $u_t^{\text{target}}(x\mid z)$。

整个训练过程不需要模拟 ODE。也就是说，训练是 simulation-free 的。ODE 只在训练完成之后、生成样本时才需要模拟。

这就是 Flow Matching 简洁且适合大规模训练的原因：它把生成模型的训练变成了一个普通的监督回归问题。

Theorem 12 的更细证明

先固定一个时间 $t$。为了不让符号太重，暂时把 $t$ 省略掉，最后再把对 $t$ 的期望加回来。

训练时的采样过程是：

这实际上定义了一个关于 $(x,z)$ 的联合分布：

它的 $x$-marginal 是：

因此 posterior 是：

现在把 conditional target 记成

marginal target 就是它在给定 $x$ 后的条件平均：

也就是

神经网络输出记成

于是两个 loss 可以写成：