Optimizing Diversity and Quality through Base-Aligned Model Collaboration

📄 arXiv: 2511.05650v1 📥 PDF

作者: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-11-07

备注: 52 pages, 16 figures

💡 一句话要点

提出Base-Aligned Model Collaboration (BACo)框架，在保证质量的同时提升LLM生成文本的多样性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型对齐 文本生成 多样性 质量

📋 核心要点

  1. 现有对齐技术提升LLM质量的同时牺牲了生成文本的多样性，导致输出结果过于相似。
  2. BACo框架通过动态结合基础LLM和对齐模型，在token级别进行路由选择，从而优化多样性和质量。
  3. 实验表明，BACo在多样性和质量上均优于现有推理时基线，实现了21.3%的联合提升。

📝 摘要（中文）

对齐技术显著提高了大型语言模型（LLM）的输出质量，但同时也降低了多样性，导致生成结果高度相似。我们提出了Base-Aligned Model Collaboration (BACo)，这是一个推理时token级别的模型协作框架，它动态地将基础LLM与其对齐模型相结合，以优化多样性和质量。受先前工作启发，BACo采用路由策略，根据下一个token预测的不确定性和预测内容的语义角色，决定从哪个模型解码每个token。先前的多样性提升方法，如重新训练、提示工程和多重抽样方法，虽然提高了多样性，但通常会降低质量，或需要昂贵的解码或后训练。相比之下，BACo在单次传递中实现了高质量和高多样性，同时提供了强大的可控性。我们探索了一系列路由策略，在三个开放式生成任务和涵盖多样性和质量的13个指标上，BACo始终优于最先进的推理时基线。通过我们最好的路由器，BACo在多样性和质量方面实现了21.3%的联合改进。人工评估也反映了这些改进。结果表明，基础模型和对齐模型之间的协作可以优化和控制多样性和质量。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）对齐后输出多样性降低的问题。现有方法如重新训练、提示工程等，要么降低输出质量，要么需要额外的计算开销，无法在推理阶段同时保证质量和多样性。

核心思路：BACo的核心思路是利用基础LLM和对齐LLM的互补优势。基础LLM具有更高的多样性，而对齐LLM具有更高的质量。通过动态地在两者之间进行token级别的路由选择，BACo旨在生成既高质量又多样的文本。

技术框架：BACo是一个推理时的token级别模型协作框架。它包含两个主要部分：基础LLM和对齐LLM，以及一个路由策略。在每个token生成时，路由策略会根据当前token预测的不确定性和预测内容的语义角色，决定从哪个模型解码下一个token。整个过程在单次推理中完成，无需额外的训练或后处理。

关键创新：BACo的关键创新在于其动态的token级别路由策略。与传统的模型集成方法不同，BACo不是简单地平均或加权两个模型的输出，而是根据每个token的具体情况，选择最合适的模型进行解码。这种细粒度的控制使得BACo能够更好地平衡多样性和质量。

关键设计：BACo的关键设计在于路由策略的选择。论文探索了一系列路由策略，包括基于不确定性的路由和基于语义角色的路由。基于不确定性的路由选择预测不确定性较高的模型，以增加多样性；基于语义角色的路由则根据token的语义角色（如实体、动词等）选择更擅长处理该角色的模型。具体的实现细节（如不确定性的计算方法、语义角色的识别方法）在论文中有详细描述。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，BACo在三个开放式生成任务和13个指标上，均优于现有推理时基线。最佳路由策略实现了多样性和质量21.3%的联合提升。人工评估也验证了BACo的有效性，表明其生成的文本更符合人类偏好。

🎯 应用场景

BACo框架可应用于各种需要高质量和多样性文本生成的场景，例如创意写作、对话系统、内容生成等。该方法无需重新训练模型，即可提升现有LLM的性能，具有很高的实用价值。未来，可以探索更复杂的路由策略，以及将BACo应用于更多类型的LLM。

📄 摘要（原文）

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.