ReFF: Reinforcing Format Faithfulness in Language Models across Varied Tasks

📄 arXiv: 2412.09173v1 📥 PDF

作者: Jiashu Yao, Heyan Huang, Zeming Liu, Haoyu Wen, Wei Su, Boao Qian, Yuhang Guo

分类: cs.CL

发布日期: 2024-12-12

备注: Accepted to AAAI 2025

💡 一句话要点

提出ReFF框架，强化大语言模型在多任务中的格式一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 格式一致性 强化学习 结构化生成 无监督学习

📋 核心要点

  1. 现有大语言模型在生成结构化内容时，难以保证输出严格遵循预设格式，格式一致性不足。
  2. ReFF框架利用格式的可判定性，通过强化学习方式引导模型生成符合格式要求的输出，无需额外标注数据。
  3. 实验表明，ReFF在多种任务上显著提升了格式一致性，同时保持甚至提升了模型的通用生成质量。

📝 摘要（中文）

大型语言模型(LLMs)遵循格式指令生成结构化内容的能力至关重要，但常常无法满足。为了研究这种能力，即格式一致性，我们提出了FormatBench，一个全面的格式相关基准。与之前的基准相比，FormatBench在应用场景（传统NLP任务、创意作品、自主代理任务）、人机交互方式（单轮指令、多轮对话）和格式类型（包含、包装、长度、编码）方面涉及更多种类的任务。此外，FormatBench中的每个任务都附带一个格式检查程序。大量实验表明，最先进的开源和闭源LLM在格式一致性方面仍然存在严重缺陷。凭借格式的可判定性，我们提出了强化格式一致性(ReFF)来帮助LLM按照指示生成格式化输出，而不影响通用质量。在没有任何标注数据的情况下，ReFF可以显著提高格式一致性率（例如，在标题分割任务中从原始LLaMA3的21.6%提高到95.0%），同时保持可比的通用质量（例如，F1分数从47.3提高到46.4）。结合带标签的训练数据，ReFF可以同时提高格式一致性（例如，从原始LLaMA3的21.6%提高到75.5%）和通用质量（例如，F1分数从47.3提高到61.6%）。我们进一步提供了可解释性分析，以解释ReFF如何提高格式一致性和通用质量。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在各种任务中生成符合特定格式要求的内容时，格式一致性不足的问题。现有方法通常难以保证输出的结构化和规范化，导致实际应用受限。痛点在于模型无法准确理解和执行复杂的格式指令，尤其是在多轮对话和涉及多种格式类型的场景下。

核心思路：论文的核心思路是利用格式的可判定性，设计一个强化学习框架，通过奖励机制引导模型生成符合格式要求的输出。该方法无需人工标注数据，而是通过自动化的格式检查程序来评估模型的输出，并根据评估结果调整模型的生成策略。这样可以在不影响模型通用生成能力的前提下，显著提高格式一致性。

技术框架：ReFF框架主要包含以下几个模块：1) 格式解析器：用于解析任务的格式要求，并将其转化为可执行的格式检查程序。2) 语言模型：作为生成器，负责根据输入生成文本。3) 格式检查器：根据格式解析器生成的检查程序，评估语言模型的输出是否符合格式要求。4) 奖励函数：根据格式检查器的评估结果，为语言模型提供奖励信号，引导其生成更符合格式要求的输出。5) 强化学习算法：使用强化学习算法（如策略梯度）更新语言模型的参数，使其能够更好地遵循格式指令。

关键创新：ReFF的关键创新在于：1) 利用格式的可判定性，实现了无监督的格式一致性强化学习。2) 设计了一个通用的格式检查框架，可以处理多种格式类型和任务。3) 通过可解释性分析，揭示了ReFF如何同时提高格式一致性和通用质量。与现有方法相比，ReFF无需人工标注数据，且能够更好地平衡格式一致性和通用生成能力。

关键设计：ReFF的关键设计包括：1) 奖励函数的选择：奖励函数需要能够准确反映输出的格式一致性程度，并避免过度惩罚不符合格式但内容质量高的输出。2) 强化学习算法的选择：需要选择一种能够有效探索策略空间，并避免陷入局部最优解的强化学习算法。3) 格式检查程序的实现：需要确保格式检查程序能够准确、高效地评估输出的格式一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReFF在多种任务上显著提升了格式一致性。例如，在标题分割任务中，ReFF将LLaMA3的格式一致性从21.6%提高到95.0%，同时保持了相近的F1分数（从47.3到46.4）。结合带标签的训练数据，ReFF可以将格式一致性提高到75.5%，并将F1分数提高到61.6%。这些结果表明，ReFF是一种有效的格式一致性强化方法，可以在不牺牲甚至提升通用生成质量的前提下，显著提高模型的格式遵循能力。

🎯 应用场景

ReFF框架可广泛应用于需要结构化输出的场景，如自动报告生成、代码生成、数据表格生成、对话系统等。该研究有助于提升大语言模型在实际应用中的可靠性和可用性，尤其是在需要严格遵循格式规范的领域，例如金融、法律和医疗等。未来，ReFF可以进一步扩展到更复杂的格式类型和任务，并与其他技术（如知识图谱、信息抽取）相结合，实现更智能化的内容生成。

📄 摘要（原文）

Following formatting instructions to generate well-structured content is a fundamental yet often unmet capability for large language models (LLMs). To study this capability, which we refer to as format faithfulness, we present FormatBench, a comprehensive format-related benchmark. Compared to previous format-related benchmarks, FormatBench involves a greater variety of tasks in terms of application scenes (traditional NLP tasks, creative works, autonomous agency tasks), human-LLM interaction styles (single-turn instruction, multi-turn chat), and format types (inclusion, wrapping, length, coding). Moreover, each task in FormatBench is attached with a format checker program. Extensive experiments on the benchmark reveal that state-of-the-art open- and closed-source LLMs still suffer from severe deficiency in format faithfulness. By virtue of the decidable nature of formats, we propose to Reinforce Format Faithfulness (ReFF) to help LLMs generate formatted output as instructed without compromising general quality. Without any annotated data, ReFF can substantially improve the format faithfulness rate (e.g., from 21.6% in original LLaMA3 to 95.0% on caption segmentation task), while keep the general quality comparable (e.g., from 47.3 to 46.4 in F1 scores). Combined with labeled training data, ReFF can simultaneously improve both format faithfulness (e.g., from 21.6% in original LLaMA3 to 75.5%) and general quality (e.g., from 47.3 to 61.6 in F1 scores). We further offer an interpretability analysis to explain how ReFF improves both format faithfulness and general quality.