Finetune Once: Decoupling General & Domain Learning with Dynamic Boosted Annealing

📄 arXiv: 2509.26242v2 📥 PDF

作者: Yang Tang, Ruijie Liu, Yifan Wang, Shiyu Li, Xi Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-30 (更新: 2025-10-17)

备注: 9 pages, 5 figures

💡 一句话要点

提出动态增强退火(DBA)方法，解耦通用和领域学习，高效微调LLM。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 领域自适应 梯度增强 动态步长 退火学习 高效训练

📋 核心要点

  1. 传统LLM微调依赖复杂数据混合和重复实验，泛化性能难以保证，效率低下。
  2. DBA方法通过通用数据上的零学习率训练获取全局梯度，用于领域训练的梯度增强和步长校正。
  3. 实验表明，DBA在多个任务上比传统微调平均提升5.8%的联合性能，并减少91%的GPU时间。

📝 摘要（中文）

大型语言模型(LLM)的微调展现出卓越的潜力。然而，传统的微调方法通常需要复杂的数据混合和重复实验才能获得最佳的泛化性能。为了解决这些挑战并简化训练过程，我们提出了一种高效且通用的解决方案，即动态增强退火(DBA)。我们首先通过在通用数据上进行零学习率训练获得全局梯度，然后将其用于领域训练期间的梯度增强和动态训练步长校正。结合退火学习，我们最终建立了一个仅依赖于领域数据而不会崩溃的微调流程。通过在多个流行基础模型上评估通用和领域特定任务的性能，DBA在联合性能方面比传统微调平均提高了5.8%。此外，由于通用数据不再参与退火过程，因此也消除了由数据混合导致的重复实验。根据我们的测试，与传统方法相比，DBA方法可以减少91.0%的GPU使用时间。

🔬 方法详解

问题定义：现有的大型语言模型微调方法，为了达到良好的泛化性能，通常需要精细的数据混合策略和大量的重复实验。这导致了训练过程的复杂性和计算资源的浪费，同时也增加了模型训练的不确定性。如何高效且稳定地微调LLM，避免复杂的数据混合和重复实验，是本文要解决的核心问题。

核心思路：本文的核心思路是将通用知识的学习和领域知识的学习解耦。首先，利用通用数据提取全局梯度信息，然后将其作为先验知识，指导领域数据的微调过程。通过梯度增强和动态步长校正，使得模型能够更快、更稳定地适应领域数据，同时避免了灾难性遗忘。

技术框架：DBA方法主要包含两个阶段：1) 全局梯度提取阶段：在通用数据集上，使用零学习率进行训练，提取模型的全局梯度信息。这个梯度代表了模型对通用知识的理解。2) 领域微调阶段：在领域数据集上，利用提取的全局梯度进行梯度增强，并动态调整训练步长。同时，结合退火学习率策略，使得模型能够逐步适应领域数据，最终达到良好的性能。

关键创新：DBA方法的关键创新在于解耦了通用知识学习和领域知识学习，并利用全局梯度作为桥梁，将两者联系起来。与传统的微调方法相比，DBA方法不需要复杂的数据混合，避免了重复实验，提高了训练效率和稳定性。此外，动态步长校正机制能够更好地控制训练过程，避免模型崩溃。

关键设计：DBA方法的关键设计包括：1) 零学习率训练：使用零学习率训练通用数据，是为了提取模型的全局梯度信息，而不是让模型记住通用数据。2) 梯度增强：将全局梯度与领域数据的梯度进行融合，使得模型能够更好地利用通用知识。3) 动态步长校正：根据全局梯度和领域数据的梯度之间的差异，动态调整训练步长，以保证训练的稳定性。4) 退火学习率：采用退火学习率策略，使得模型能够逐步适应领域数据，避免过拟合。

📊 实验亮点

实验结果表明，DBA方法在多个任务上优于传统的微调方法，平均提升了5.8%的联合性能。更重要的是，DBA方法能够减少91.0%的GPU使用时间，极大地提高了训练效率。这些结果充分证明了DBA方法的有效性和优越性。

🎯 应用场景

DBA方法可广泛应用于各种需要对大型语言模型进行微调的场景，例如：特定领域的文本生成、问答系统、情感分析等。该方法能够显著降低微调成本，提高模型性能，加速LLM在各行业的落地应用，具有重要的实际价值和潜在的商业前景。

📄 摘要（原文）

Large language models (LLMs) fine-tuning shows excellent implications. However, vanilla fine-tuning methods often require intricate data mixture and repeated experiments for optimal generalization. To address these challenges and streamline the training process, we propose an efficient and universal solution, Dynamic Boosted Annealing (DBA). We obtain a global gradient through zero-learning-rate training on general data, which is subsequently employed for gradient boosting and dynamic training step correction during domain training. In conjunction with annealing learning, we end up establishing a fine-tuning pipeline that relies solely on domain data without collapse. By evaluating both general and domain-specific performance across multiple tasks on several popular base models, DBA achieves an average improvement of 5.8% in joint performance over vanilla fine-tuning. Furthermore, since general data is no longer involved in annealing, repeated experiments led by data mixture are also eliminated. According to our tests, the DBA method can reduce GPU hours by 91.0% compared to the vanilla method.