Spectrum Tuning: Post-Training for Distributional Coverage and In-Context Steerability
作者: Taylor Sorensen, Benjamin Newman, Jared Moore, Chan Park, Jillian Fisher, Niloofar Mireshghallah, Liwei Jiang, Yejin Choi
分类: cs.CL, cs.AI
发布日期: 2025-10-07
💡 一句话要点
提出Spectrum Tuning，提升语言模型在上下文引导下的分布覆盖能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 后训练 上下文学习 分布覆盖 指令微调
📋 核心要点
- 现有语言模型后训练虽然提升了指令跟随能力，但降低了模型在多解任务中的有效输出空间覆盖和上下文引导能力。
- 论文提出Spectrum Tuning方法，利用Spectrum Suite数据集进行后训练，旨在提升模型在上下文引导下的分布覆盖能力。
- 实验结果表明，Spectrum Tuning能够有效提升模型在上下文引导下的性能，并改善分布对齐，优于现有预训练和指令微调模型。
📝 摘要（中文）
语言模型后训练增强了指令跟随和下游任务的性能，但也带来了一个常被忽视的代价，即在具有许多可能有效答案的任务上的表现下降。本文提出了条件分布建模的三个期望属性：上下文引导能力、有效输出空间覆盖和分布对齐，并记录了当前后训练如何降低这三个属性。特别地，本文区分了两种上下文学习：用于引出已存在的潜在知识或能力的ICL，以及上下文引导能力，即模型必须使用上下文信息来覆盖其先验并引导到新的数据生成分布。为了更好地评估和改进这些属性，本文引入了Spectrum Suite，这是一个大规模资源，由来自40多个数据源的>90个任务组成，要求模型引导并匹配从不同人类偏好到数值分布等各种分布。研究发现，当前的后训练技术有助于引出潜在的能力和知识，但会损害模型在上下文中灵活引导的能力。为了缓解这些问题，本文提出了一种后训练方法Spectrum Tuning，它使用Spectrum Suite来提高引导能力和分布覆盖。实验表明，Spectrum Tuning通常优于预训练模型及其指令调整后的对应模型，增强了引导能力，覆盖了更多的输出空间，并提高了在保留数据集上的分布对齐。
🔬 方法详解
问题定义：现有语言模型在经过指令微调等后训练后，虽然在某些任务上表现提升，但在需要生成多样化答案的任务中，模型倾向于生成有限的、预先存在的答案，而忽略了上下文信息提供的新的分布信息。这导致模型在上下文引导能力和输出空间覆盖方面表现不佳。现有方法未能很好地平衡利用已有知识和根据上下文信息进行调整的能力。
核心思路：论文的核心思路是通过后训练的方式，让模型学习如何更好地利用上下文信息来调整其输出分布，从而提高其上下文引导能力和输出空间覆盖。具体来说，就是让模型在包含丰富分布信息的Spectrum Suite数据集上进行训练，学习如何根据上下文信息生成符合目标分布的答案。
技术框架：Spectrum Tuning的整体框架是后训练。首先，使用预训练或指令微调后的语言模型作为基础模型。然后，使用Spectrum Suite数据集对基础模型进行微调，目标是让模型能够根据上下文信息生成符合目标分布的答案。微调过程中，可以使用各种损失函数来衡量模型输出分布与目标分布之间的差异，例如KL散度等。
关键创新：论文的关键创新在于提出了Spectrum Tuning这种后训练方法，以及构建了Spectrum Suite数据集。Spectrum Tuning通过在包含丰富分布信息的Spectrum Suite数据集上进行训练，有效地提高了模型在上下文引导下的分布覆盖能力。Spectrum Suite数据集包含了各种需要模型根据上下文信息生成符合目标分布的任务，为Spectrum Tuning的训练提供了有效的数据支持。
关键设计：Spectrum Tuning的关键设计包括：1) Spectrum Suite数据集的构建，需要收集和整理各种包含丰富分布信息的任务；2) 后训练的目标函数设计，需要选择合适的损失函数来衡量模型输出分布与目标分布之间的差异；3) 后训练的超参数设置，例如学习率、batch size等，需要根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Spectrum Tuning在Spectrum Suite数据集上显著优于预训练模型和指令微调模型，在上下文引导能力、输出空间覆盖和分布对齐方面均有提升。例如，在某些任务上，Spectrum Tuning可以将模型的输出空间覆盖率提高10%以上，并显著降低模型输出分布与目标分布之间的KL散度。
🎯 应用场景
该研究成果可应用于各种需要模型根据上下文信息生成多样化答案的场景，例如对话生成、创意写作、数据增强等。通过提升模型的上下文引导能力和输出空间覆盖，可以使模型生成更符合用户需求、更具创造性的答案，从而提高用户体验和应用价值。
📄 摘要（原文）
Language model post-training has enhanced instruction-following and performance on many downstream tasks, but also comes with an often-overlooked cost on tasks with many possible valid answers. We characterize three desiderata for conditional distributional modeling: in-context steerability, valid output space coverage, and distributional alignment, and document across three model families how current post-training can reduce these properties. In particular, we disambiguate between two kinds of in-context learning: ICL for eliciting existing underlying knowledge or capabilities, and in-context steerability, where a model must use in-context information to override its priors and steer to a novel data generating distribution. To better evaluate and improve these desiderata, we introduce Spectrum Suite, a large-scale resource compiled from >40 data sources and spanning >90 tasks requiring models to steer to and match diverse distributions ranging from varied human preferences to numerical distributions and more. We find that while current post-training techniques help elicit underlying capabilities and knowledge, they hurt models' ability to flexibly steer in-context. To mitigate these issues, we propose Spectrum Tuning, a post-training method using Spectrum Suite to improve steerability and distributional coverage. We find that Spectrum Tuning often improves over pretrained models and their instruction-tuned counterparts, enhancing steerability, spanning more of the output space, and improving distributional alignment on held-out datasets.