Verifiable Format Control for Large Language Model Generations
作者: Zhaoyang Wang, Jinqi Jiang, Huichi Zhou, Wenhao Zheng, Xuchao Zhang, Chetan Bansal, Huaxiu Yao
分类: cs.CL
发布日期: 2025-02-06
备注: To appear at Findings of NAACL 2025
💡 一句话要点
提出VFF数据集与渐进式训练方法，提升小型LLM在JSON等格式控制上的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 格式控制 数据合成 渐进式训练 可验证数据集
📋 核心要点
- 小型LLM在JSON等格式控制上存在困难，阻碍应用，现有方法侧重通用指令遵循，忽略特定格式。
- 利用可验证格式遵循数据集VFF，合成大量数据，渐进式训练小型LLM，提升格式控制能力。
- 实验表明7B级别开源LLM格式控制能力有限，本文方法能有效提升该能力。
📝 摘要（中文）
现有的大型语言模型（LLM）在通用指令遵循方面表现出色。然而，参数量约为70亿的小型LLM在细粒度的格式遵循（例如，JSON格式）方面仍然存在困难，这严重阻碍了它们的应用。目前大多数方法侧重于评估通用指令遵循能力，而忽略了如何提高小型LLM的特定格式遵循能力。此外，这些方法通常依赖于基于高级LLM（例如GPT-4）的评估，这会引入LLM的内在偏差，并且由于API调用而成本高昂。本文首先构建了一个完全可验证的格式遵循数据集VFF。与现有工作中常采用外部LLM进行指令遵循验证不同，VFF的每个样本都可以通过Python函数轻松验证。此外，我们建议利用这种可验证的特性来合成大量数据，以逐步训练小型LLM，从而提高它们的格式遵循能力。实验结果突出了7B级别开源LLM在格式遵循能力方面的普遍局限性，并证明了我们方法在增强这种基本能力方面的有效性。
🔬 方法详解
问题定义：论文旨在解决小型语言模型（特别是7B参数量级的模型）在生成特定格式（如JSON）数据时表现不佳的问题。现有方法主要关注通用指令遵循能力的评估，而忽略了对特定格式生成能力的提升。此外，现有评估方法依赖于大型LLM（如GPT-4），引入了评估偏差和高昂的API调用成本。
核心思路：论文的核心思路是利用可验证的格式遵循数据集（VFF）来合成大量训练数据，并采用渐进式训练方法来提升小型LLM的格式生成能力。VFF数据集的每个样本都可以通过Python函数进行验证，避免了依赖大型LLM进行评估带来的偏差和成本。通过合成数据进行训练，可以有效提升模型在特定格式上的泛化能力。
技术框架：整体框架包含两个主要部分：1) 构建可验证格式遵循数据集VFF；2) 利用VFF数据集生成大量训练数据，并采用渐进式训练方法训练小型LLM。VFF数据集的构建保证了数据的可验证性，而渐进式训练则允许模型逐步学习复杂的格式生成规则。
关键创新：论文的关键创新在于提出了一个完全可验证的格式遵循数据集VFF，并利用该数据集进行数据合成和渐进式训练。VFF数据集的可验证性避免了对大型LLM的依赖，降低了评估成本，并减少了评估偏差。渐进式训练方法允许模型逐步学习复杂的格式生成规则，提高了训练效率和模型性能。
关键设计：VFF数据集的设计保证了每个样本都可以通过Python函数进行验证。数据合成过程未知，但推测可能使用了规则生成或基于小型LLM的生成方法，并结合验证函数进行过滤。渐进式训练的具体参数设置、损失函数和网络结构等技术细节在论文中未明确说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文提出的方法能够显著提升7B级别开源LLM在格式遵循方面的能力。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但论文强调了该方法在增强小型LLM格式控制能力方面的有效性，并突出了现有7B级别开源LLM在该方面的局限性。
🎯 应用场景
该研究成果可应用于需要结构化数据生成的各种场景，例如自动生成API文档、配置文件、知识图谱等。通过提升小型LLM的格式控制能力，可以降低部署成本，提高应用效率，并促进LLM在资源受限环境下的应用。未来，该方法可以推广到其他格式的生成任务，并与其他技术（如知识蒸馏、模型压缩）相结合，进一步提升小型LLM的性能。
📄 摘要（原文）
Recent Large Language Models (LLMs) have demonstrated satisfying general instruction following ability. However, small LLMs with about 7B parameters still struggle fine-grained format following (e.g., JSON format), which seriously hinder the advancements of their applications. Most existing methods focus on benchmarking general instruction following while overlook how to improve the specific format following ability for small LLMs. Besides, these methods often rely on evaluations based on advanced LLMs (e.g., GPT-4), which can introduce the intrinsic bias of LLMs and be costly due to the API calls. In this paper, we first curate a fully verifiable format following dataset VFF. In contrast to existing works often adopting external LLMs for instruction-following validations, every sample of VFF can be easily validated with a Python function. Further, we propose to leverage this verifiable feature to synthesize massive data for progressively training small LLMs, in order to improve their format following abilities. Experimental results highlight the prevalent limitations in the format following capabilities of 7B level open-source LLMs and demonstrate the effectiveness of our method in enhancing this essential ability.