UltraIF: Advancing Instruction Following from the Wild

📄 arXiv: 2502.04153v2 📥 PDF

作者: Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

分类: cs.CL, cs.AI

发布日期: 2025-02-06 (更新: 2025-09-28)

备注: Accepted by EMNLP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

UltraIF：一种从真实世界指令中提升LLM指令跟随能力的方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令跟随 大型语言模型 提示工程 模型对齐 开源数据

📋 核心要点

  1. 现有开源LLM在复杂指令跟随能力上与领先公司模型存在差距，限制了其应用。
  2. UltraIF通过分解复杂指令为简单查询、约束和评估问题，并训练提示组合器来合成指令。
  3. 实验表明，UltraIF成功对齐了LLaMA-3.1-8B-Base，使其在指令跟随基准上达到Instruct版本的水平。

📝 摘要（中文）

指令跟随能力使得现代大型语言模型(LLMs)成为有用的助手。然而，驾驭LLMs处理复杂指令的关键仍然未知，因为开源社区训练的模型与领先公司训练的模型之间存在巨大差距。为了弥合这一差距，我们提出了一种简单且可扩展的方法UltraIF，用于构建能够使用开源数据跟随复杂指令的LLMs。UltraIF首先将真实世界的用户提示分解为更简单的查询、约束以及约束对应的评估问题。然后，我们训练一个UltraComposer来组合与约束相关的提示以及评估问题。这种提示组合器允许我们合成复杂的指令，并使用评估问题过滤响应。在我们的实验中，我们首次成功地将LLaMA-3.1-8B-Base与它的instruct版本在5个指令跟随基准上对齐，而没有使用任何基准信息，仅使用8B模型作为响应生成器和评估器。对齐后的模型在其他基准上也取得了有竞争力的分数。此外，我们还表明UltraIF可以通过自我对齐进一步改进LLaMA-3.1-8B-Instruct，从而激发该方法更广泛的用例。我们的代码可在https://github.com/kkk-an/UltraIF上找到。

🔬 方法详解

问题定义：现有开源大型语言模型在复杂指令跟随能力上与商业模型存在显著差距。开源模型难以有效处理包含多重约束、复杂推理或需要特定知识的指令，导致其在实际应用中受到限制。现有方法通常依赖于大量人工标注数据或复杂的训练技巧，成本高昂且难以扩展。

核心思路：UltraIF的核心思路是将复杂的指令跟随任务分解为更易于处理的子任务。通过将用户提示分解为查询、约束和评估问题，并训练一个专门的提示组合器（UltraComposer）来合成这些组件，从而使模型能够更好地理解和执行复杂指令。这种分解和组合的方法降低了学习难度，并允许模型利用更广泛的开源数据进行训练。

技术框架：UltraIF的整体框架包含以下几个主要阶段：1) 指令分解：将用户输入的复杂指令分解为查询、约束和评估问题。2) 提示组合：使用UltraComposer将查询、约束和评估问题组合成新的提示。3) 响应生成：使用LLM（如LLaMA-3.1-8B-Base）根据组合后的提示生成响应。4) 响应评估：使用LLM或专门的评估模型根据评估问题对生成的响应进行过滤和排序。5) 模型训练：训练UltraComposer，使其能够生成高质量的组合提示，并提高LLM的指令跟随能力。

关键创新：UltraIF的关键创新在于其提示组合的方法。通过将复杂指令分解为更小的、更易于管理的组件，并使用UltraComposer动态地组合这些组件，UltraIF能够有效地利用开源数据来训练LLM，使其具备更强的指令跟随能力。与传统的指令微调方法相比，UltraIF不需要大量的人工标注数据，并且可以更容易地扩展到新的指令类型。

关键设计：UltraComposer的设计是UltraIF的关键。UltraComposer通常是一个小型Transformer模型，其输入是查询、约束和评估问题的嵌入表示，输出是组合后的提示。训练UltraComposer的目标是最大化LLM生成符合约束且能够回答评估问题的响应的概率。损失函数可以包括交叉熵损失和奖励模型损失，以鼓励生成高质量的提示。此外，还可以使用数据增强技术来增加训练数据的多样性。

🖼️ 关键图片

img_0

📊 实验亮点

UltraIF成功地将LLaMA-3.1-8B-Base与它的instruct版本在5个指令跟随基准上对齐，而没有使用任何基准信息，仅使用8B模型作为响应生成器和评估器。对齐后的模型在其他基准上也取得了有竞争力的分数。此外，UltraIF还可以通过自我对齐进一步改进LLaMA-3.1-8B-Instruct。

🎯 应用场景

UltraIF具有广泛的应用前景，可用于构建更智能、更可靠的AI助手。它可以应用于智能客服、教育辅导、内容创作等领域，帮助用户更高效地完成各种任务。通过提升LLM的指令跟随能力，UltraIF可以促进人机交互的自然化和智能化，推动人工智能技术的普及和应用。

📄 摘要（原文）

Instruction-following made modern large language models (LLMs) helpful assistants. However, the key to taming LLMs on complex instructions remains mysterious, for that there are huge gaps between models trained by open-source community and those trained by leading companies. To bridge the gap, we propose a simple and scalable approach UltraIF for building LLMs that can follow complex instructions with open-source data. UltraIF first decomposes real-world user prompts into simpler queries, constraints, and corresponding evaluation questions for the constraints. Then, we train an UltraComposer to compose constraint-associated prompts with evaluation questions. This prompt composer allows us to synthesize complicated instructions as well as filter responses with evaluation questions. In our experiment, for the first time, we successfully align LLaMA-3.1-8B-Base to catch up with its instruct version on 5 instruction-following benchmarks without any benchmark information, using only 8B model as response generator and evaluator. The aligned model also achieved competitive scores on other benchmarks. Moreover, we also show that UltraIF could further improve LLaMA-3.1-8B-Instruct through self-alignment, motivating broader use cases for the method. Our code is available at https://github.com/kkk-an/UltraIF.