Don't Throw Away Your Pretrained Model
作者: Shangbin Feng, Wenhao Yu, Yike Wang, Hongming Zhang, Yulia Tsvetkov, Dong Yu
分类: cs.CL
发布日期: 2025-10-10
💡 一句话要点
提出Switch Generation，通过模型协作提升语言模型综合能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 模型协作 对齐训练 预训练模型 Switch Generation
📋 核心要点
- 对齐训练虽提升了语言模型的推理能力，但也可能损害创造力等其他技能，存在权衡。
- 提出Switch Generation，让预训练和对齐模型轮流生成响应片段，发挥各自优势。
- 实验表明，模型协作显著优于单个模型，Switch Generation平均提升12.9%。
📝 摘要（中文）
对齐训练在提升语言模型的推理和指令遵循能力方面有所帮助，但可能会牺牲创造力和校准等技能，而未对齐的基础模型在这些方面表现更好。本文旨在通过模型协作，充分利用训练流程中不同模型的优势，实现两全其美。由于语言模型的响应具有交错的技能，这些技能更倾向于不同的模型，因此我们提出了Switch Generation，其中预训练和对齐的模型版本轮流在响应序列中“说话”。具体来说，我们通过学习在不同查询和上下文中选择不同模型来生成下一个片段的结果，从而训练一个切换器语言模型。在推理时，切换器语言模型引导不同的模型检查点动态地生成最需要其优势的下一个片段。对8个模型协作基线和18个数据集进行的大量实验表明：1）在18个任务中的16个任务上，模型协作始终优于单个模型；2）Switch Generation平均比基线高出12.9%。进一步的分析表明，Switch Generation发现了组合技能来解决单个模型难以解决的问题，并推广到未见过的模型和任务，从而重用和重新利用昂贵的模型训练流程中原本被丢弃的副产品。
🔬 方法详解
问题定义：现有语言模型训练方法，特别是对齐训练，虽然在推理和指令遵循方面有所提升，但往往会牺牲模型在创造力、校准等方面的能力。简单地使用对齐后的模型，会丢弃预训练模型在这些方面的优势。因此，如何有效利用预训练模型和对齐模型的各自优势，是本文要解决的问题。现有方法要么只使用单一模型，要么简单地进行模型融合，无法充分利用不同模型的互补能力。
核心思路：本文的核心思路是让不同的模型在生成过程中“轮流说话”，即根据当前上下文动态选择最适合生成下一个片段的模型。通过训练一个“切换器”模型，学习在不同情况下选择哪个模型来生成下一个片段，从而实现模型间的协作，充分利用各自的优势。这种方法避免了简单融合带来的信息损失，也避免了单一模型带来的能力局限。
技术框架：Switch Generation 包含以下主要模块：1) 多个预训练和/或对齐的语言模型；2) 一个切换器语言模型（Switcher LM），用于决定在给定上下文中使用哪个模型生成下一个片段；3) 一个训练流程，用于训练切换器模型，使其能够根据上下文选择最佳模型。整个流程如下：首先，使用不同的模型生成候选片段。然后，根据生成的质量（例如，使用奖励模型评估），训练切换器模型，使其能够预测哪个模型最适合生成下一个片段。在推理时，切换器模型根据当前上下文选择一个模型，该模型生成下一个片段，然后重复此过程，直到生成完整的响应。
关键创新：本文最重要的创新点在于提出了Switch Generation，这是一种动态模型协作方法，它允许不同的模型在生成过程中发挥各自的优势。与传统的模型融合方法不同，Switch Generation 不是简单地将多个模型的输出进行平均或加权，而是根据上下文动态选择最佳模型。这种方法能够更好地利用不同模型的互补能力，从而提高整体性能。此外，该方法能够有效利用预训练模型和对齐模型的优势，避免了对齐训练带来的能力损失。
关键设计：切换器模型可以使用各种架构，例如Transformer。训练切换器模型的关键在于设计合适的奖励函数，以鼓励其选择最佳模型。一种常用的方法是使用奖励模型来评估生成的质量，并根据奖励值来更新切换器模型的参数。此外，还可以使用强化学习方法来训练切换器模型，使其能够更好地探索不同的模型选择策略。在实验中，作者使用了交叉熵损失函数来训练切换器模型，并使用不同的模型作为候选生成器。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Switch Generation 在 18 个任务中的 16 个任务上优于单个模型，平均提升幅度达到 12.9%。此外，该方法还能够推广到未见过的模型和任务，表明其具有良好的泛化能力。这些结果表明，Switch Generation 是一种有效的模型协作方法，可以显著提升语言模型的性能。
🎯 应用场景
该研究成果可应用于各种需要高质量文本生成的场景，例如对话系统、文本摘要、机器翻译等。通过模型协作，可以提升生成文本的创造性、流畅性和准确性。此外，该方法还可以有效利用已有的预训练模型，降低模型训练成本，具有广泛的应用前景。
📄 摘要（原文）
Alignment training has tradeoffs: it helps language models (LMs) gain in reasoning and instruction following but might lose out on skills such as creativity and calibration, where unaligned base models are better at. We aim to make the best of both worlds through model collaboration, where different models in the training pipeline collaborate and complement each other. Since LM responses feature interleaving skills that favor different models, we propose Switch Generation, where pretrained and aligned model versions take turns to ``speak'' in a response sequence. Specifically, we train a switcher LM by learning from outcomes of choosing different models to generate the next segment across diverse queries and contexts. At inference time, the switcher LM guides different model checkpoints to dynamically generate the next segment where their strengths are most needed. Extensive experiments with 8 model collaboration baselines and 18 datasets show that 1) model collaboration consistently outperforms individual models on 16 out of 18 tasks, and 2) Switch Generation further outperforms baselines by 12.9% on average. Further analysis reveals that Switch Generation discovers compositional skills to solve problems where individual models struggle and generalizes to unseen models and tasks, reusing and repurposing by-products in expensive model training pipelines that are otherwise discarded.