论文题目:Newton Matching for Generative Modeling: A Unified Framework for Fine-Tuning and Sampling
论文地址: https://arxiv.org/abs/2609.05727

创新点
范式转变。 论文不再把生成模型的 fine-tuning / sampling 看作一个孤立的回归损失,而是把它理解为"在 canonical 模型上的迭代优化"。这里只考虑对终端密度做标准 conditional matching 时的 population 最优解,因此可以去掉冗余的动力学表示。
几何框架。 论文证明,canonical 速度场构成一个与密度流形微分同胚的嵌入子流形。由此得到 canonical 投影,以及对应的切空间和余切空间。论文再把 Fisher–Rao 度量与 mixture connection 搬到这个子流形上,为二阶优化搭好几何基础。
方法
论文把生成模型的无数据微调与采样统一写成对 $\pi \propto \mu \cdot e^{\tau r}$ 的匹配。它不做轨迹级 RL,而是把优化变量收窄到 canonical model,即对终端密度做标准 conditional matching 的 population 最优速度场。论文证明这类速度场构成与密度流形微分同胚的嵌入子流形。
在这个流形上,方法以 reverse-KL 为目标,并引入 Fisher–Rao 度量与 mixture connection。论文证明 reverse-KL 的 Hessian 恰好等于 Fisher–Rao 度量。因此 Newton 方向就是由正则化奖励 $r-\frac{1}{\tau}\log(\rho/\mu)$ 给出的负 Fisher–Rao 梯度。
一步更新由两部分组成:先做切向更新,再做 canonicalization,合起来称为 canonical retraction。论文据此给出有限步长下终端密度的闭式刻画,并配有收敛性证明。
在算法层面,这个方向有两种表示(协方差形式与梯度形式),各自配合前向或反向回归,最终都写成 sample-wise 平方损失。整个过程不需要重要性采样,也不需要轨迹反传。
论文还提出 critical-point consistency,用来判断某个近似是否仍以 $\pi$ 为不动点。已有方法因此可以统一归入三类:精确实现、一致近似,以及改变了目标的变体。
Newton Matching 的流形迭代框架与 canonical retraction

这张图用左右并列的几何构型,展示 Newton Matching 在密度流形与 canonical 速度流形之间的耦合迭代。
右侧是密度流形 $\mathcal{P}$。图中用 reverse KL 色标渲染目标函数的等值面,颜色由蓝到红,数值从 0 升到 $\infty$。目标点 $\pi$ 位于流形中心的极小值盆地。
左侧是速度空间 $\mathcal{V}$。其中的嵌入子流形 $\mathcal{V}_{\mathrm{can}}$ 就是 canonical 流形。流形上的每个点 $v^\rho$ 与一个终端密度 $\rho$ 一一对应。终端密度映射 $\mathcal{T}$ 与它的逆映射 canonicalization $\mathcal{C}$ 使两者构成微分同胚。
迭代从 $\rho_k$ 出发。第一步,沿由正则化奖励生成的切向量在切空间中前进。第二步,canonicalization 算子把这个中间点投影回 canonical 流形,并对应到新的终端密度 $\rho_{k+1}$。
"切向步 + 投影"的复合就是 canonical retraction。它让迭代始终停留在 canonical 子流形上,同时使密度侧的每一步在 reverse-KL 意义下严格下降。
canonical 速度场与非 canonical 速度场的轨迹等价性

这张图展示了从同一初始分布 $p_0=\mathcal{N}(0,I)$ 出发的 ODE 轨线族,说明终端密度对内部动力学表示是冗余的。
红色轨线对应 canonical 速度场 $v^\rho$,蓝色轨线对应任意选定的非 canonical 速度场 $\hat v$。两类轨线在中间时刻 $t\in(0,1)$ 的形态、路径弯折和粒子配对方式差别明显。但在终端 $t=1$ 处,两者诱导出的边缘分布完全相同,即 $\rho=p_1^{v^\rho}=p_1^{\hat v}$。
这说明同一个终端密度可以由无穷多种生成动力学实现。如果直接在全体速度场空间里做优化,就会引入与目标分布无关的冗余自由度。
canonical 速度场 $v^\rho$ 是这些等价表示中的一个特定代表,由标准 conditional matching 的 population 最优解唯一确定。它对应的就是"若能直接从 $\rho$ 采样,conditional flow matching 会收敛到的速度场"。
把优化域限制在 canonical 流形上,有两个好处:既消除了表示冗余,又保留了 conditional matching 可以扩展为样本级回归的结构基础。
canonicalization:速度空间到 canonical 流形的幂等投影

这张图用最简化的映射关系,说明 $\mathcal{T}$ 与 $\mathcal{C}$ 之间的结构。
任意速度场 $v\in\mathcal{V}$ 经终端密度映射 $\mathcal{T}$,唯一确定终端密度 $\rho=\mathcal{T}(v)\in\mathcal{P}$。canonicalization 映射 $\mathcal{C}$ 则反过来,把这个 $\rho$ 映射回 canonical 流形上对应的代表点 $v^\rho=\mathcal{C}(\rho)$。
两者的复合 $\mathcal{R}=\mathcal{C}\circ\mathcal{T}$ 对应图中 $v$ 沿虚线落到 $v^\rho$ 的投影。它把一般的非 canonical 速度场,压缩成同一终端密度下的 canonical 代表。
由于 $\mathcal{C}$ 与 $\mathcal{T}$ 在 $\mathcal{V}_{\mathrm{can}}$ 上互为逆映射,$\mathcal{R}$ 是定义在 $\mathcal{V}$ 上的光滑幂等算子。它在 canonical 流形上是恒等映射,在流形之外则沿"保持终端密度不变"的方向回收。
这种幂等性保证了:Newton Matching 每次切向更新后的 canonicalization,不会改变已经达成的终端密度偏移。它只是把中间速度场重新放回规范表示,供下一阶段的 conditional matching 直接使用。有限步长密度更新的闭式刻画和后续收敛性证明,正是以此为几何前提。
实验

这张表有两个维度。横向是"协方差形式 / 梯度形式",纵向是"精确实现、临界点一致近似、非临界点一致近似"。它对微调场景下所有可落地的回归实现做了分类,并说明了这些实现与既有后训练算法的归约关系。
精确实现。 协方差列对应式 (56)–(57) 的精确协方差更新。梯度列包含 Mayer (85)–(86) 与 Bolza (94)–(95) 两种精确实现。其中 Bolza 形式经 (148) 特化后,恢复为 Basic Adjoint Matching [32]。
临界点一致近似。 协方差列用 (112) 直接线性化和 (115) 分裂线性化来逼近精确项,前者经 (144) 恢复为 Implicit Tilt Matching [39]。梯度列用 (118) 参考伴随近似,恢复出 Lean Adjoint Matching [32](特化式 149)。(122) 的高斯核近似则提供非参数化估计。这三类近似都满足"$\rho=\pi \Leftrightarrow$ 切向位移为零"。
非临界点一致近似。 协方差列的近似正则化 (124) 对应 Reinforce Adjoint Matching [35](特化 147)。无正则化 (128) 对应 Explicit Tilt Matching [39] 和 DiffusionNFT [36](特化 143、145)。梯度列对应 (125) 与 (129)。
这张表要说明两点。第一,同一个理想的 Newton 方向,可以通过协方差和梯度两条对偶通道落到样本级损失。第二,不同近似按是否保留目标不动点分为两类。第一类(临界点一致)只是对切向更新做了局部化处理。第二类在正则化项上做了实质删减,因此改变了底层的 reverse-KL 目标。
这样,散见于最优控制、对比学习、不动点迭代与指数倾斜的既有方法,就被统一映射到同一个构形空间。论文由此给出一张按"表示通道 × 近似程度 × 目标保真性"三条轴线组织的模块化设计版图。