Gradual Fine-Tuning for Flow Matching Models
作者: Gudrun Thorkelsdottir, Arindam Banerjee
分类: cs.LG
发布日期: 2026-01-30
备注: Preprint. Submitted to ICML. 8 pages, 5 figures (+ appendix)
💡 一句话要点
提出渐进式微调(GFT)框架，提升Flow Matching模型在分布偏移下的适应性和推理效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: Flow Matching 生成模型 微调 分布偏移 渐进式学习
📋 核心要点
- 现有Flow Matching模型微调方法在数据受限或分布变化时，易损失预训练获得的精度和效率。
- 论文提出渐进式微调(GFT)框架，通过温度控制的中间目标序列，平滑地从预训练模型过渡到目标分布。
- 实验结果表明，GFT能提高收敛稳定性，缩短推理路径，加快推理速度，并保持良好的生成质量。
📝 摘要（中文）
在数据有限、分布演变或对效率有严格要求的场景中，微调Flow Matching模型是一个核心挑战，因为不受约束的微调会削弱预训练期间获得的准确性和效率。先前的工作为基于奖励的微调方法提供了理论保证和经验进展，但这些方法通常对允许的漂移结构或训练技术施加限制。本文提出了渐进式微调（GFT），这是一个在目标分布样本可用时，用于微调基于Flow的生成模型的原则性框架。对于随机流，GFT定义了一个温度控制的中间目标序列，该序列平滑地在预训练和目标漂移之间插值，随着温度接近零，逐渐接近真实目标。我们证明了边缘和条件GFT目标的收敛结果，从而可以在GFT期间使用合适的（例如，最优传输）耦合，同时保持正确性。实验表明，GFT提高了收敛稳定性并缩短了概率路径，从而加快了推理速度，同时保持了与标准微调相当的生成质量。我们的结果将GFT定位为一种在分布偏移下可扩展地适应Flow Matching模型的、具有理论基础和实际效果的替代方案。
🔬 方法详解
问题定义：Flow Matching模型在实际应用中，常常面临数据量不足、数据分布随时间变化等问题。直接对预训练好的Flow Matching模型进行微调，容易导致过拟合，损害模型在原始数据上的泛化能力，并且可能降低推理效率。现有基于奖励的微调方法虽然有理论保证，但对漂移结构或训练技术有较多限制。
核心思路：GFT的核心思想是通过一系列温度控制的中间目标，逐步将预训练模型的漂移函数调整为目标分布的漂移函数。类似于模拟退火算法，高温时允许较大的模型参数变化，低温时则限制变化，从而避免剧烈的参数更新，保持模型的稳定性和泛化能力。
技术框架：GFT框架主要包含以下几个阶段：1) 预训练阶段：使用大规模数据集训练Flow Matching模型。2) 微调阶段：定义一系列温度参数，从高温到低温逐渐降低。对于每个温度，定义一个中间目标函数，该目标函数是预训练漂移函数和目标漂移函数的加权平均。3) 优化阶段：使用随机梯度下降等优化算法，最小化中间目标函数，更新模型参数。随着温度降低，目标漂移函数的权重逐渐增加，模型逐渐适应目标分布。
关键创新：GFT的关键创新在于引入了温度控制的中间目标函数，实现了预训练模型到目标模型的平滑过渡。这种渐进式的微调方式，避免了直接微调可能导致的过拟合问题，提高了模型的泛化能力和稳定性。此外，论文还提供了边缘和条件GFT目标的收敛性证明，保证了算法的正确性。
关键设计：GFT的关键设计包括：1) 温度参数的选择：温度参数的选择需要根据具体任务进行调整，通常采用指数衰减的方式降低温度。2) 中间目标函数的定义：中间目标函数通常定义为预训练漂移函数和目标漂移函数的线性组合，权重由温度参数控制。3) 优化算法的选择：可以使用各种优化算法，如SGD、Adam等，但需要注意学习率的设置，避免过大的学习率导致模型不稳定。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GFT在提高收敛稳定性和缩短概率路径方面表现出色，从而加快了推理速度，同时保持了与标准微调相当的生成质量。具体性能数据未知，但论文强调GFT在分布偏移下具有更强的适应性。
🎯 应用场景
GFT可应用于各种需要对Flow Matching模型进行微调的场景，例如：个性化图像生成、医学图像分析、机器人运动规划等。在这些场景中，数据量通常有限，且数据分布可能随时间变化。GFT能够有效地适应这些变化，提高模型的性能和鲁棒性，具有重要的实际应用价值。
📄 摘要（原文）
Fine-tuning flow matching models is a central challenge in settings with limited data, evolving distributions, or strict efficiency demands, where unconstrained fine-tuning can erode the accuracy and efficiency gains learned during pretraining. Prior work has produced theoretical guarantees and empirical advances for reward-based fine-tuning formulations, but these methods often impose restrictions on permissible drift structure or training techniques. In this work, we propose Gradual Fine-Tuning (GFT), a principled framework for fine-tuning flow-based generative models when samples from the target distribution are available. For stochastic flows, GFT defines a temperature-controlled sequence of intermediate objectives that smoothly interpolate between the pretrained and target drifts, approaching the true target as the temperature approaches zero. We prove convergence results for both marginal and conditional GFT objectives, enabling the use of suitable (e.g., optimal transport) couplings during GFT while preserving correctness. Empirically, GFT improves convergence stability and shortens probability paths, resulting in faster inference, while maintaining generation quality comparable to standard fine-tuning. Our results position GFT as a theoretically grounded and practically effective alternative for scalable adaptation of flow matching models under distribution shift.