IFEvalCode: Controlled Code Generation

📄 arXiv: 2507.22462v2 📥 PDF

作者: Jian Yang, Wei Zhang, Shukai Liu, Linzheng Chai, Yingshui Tan, Jiaheng Liu, Ge Zhang, Wangchunshu Zhou, Guanglin Niu, Zhoujun Li, Binyuan Hui, Junyang Lin

分类: cs.CL

发布日期: 2025-07-30 (更新: 2025-08-01)

备注: 10 pages

💡 一句话要点

提出IFEvalCode基准，通过前后约束生成提升代码大模型指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 指令遵循 大语言模型 可控生成 基准测试

📋 核心要点

  1. 现有代码大模型难以满足实际应用中对编码风格、行数和结构等细节的严格要求。
  2. 论文提出前后约束生成方法，提升模型在可控代码生成中的指令遵循能力，使输出更符合人为设定的规范。
  3. 构建了包含七种编程语言的IFEvalCode基准，实验表明闭源模型优于开源模型，但指令遵循能力仍有提升空间。

📝 摘要（中文）

代码大语言模型(Code LLMs)在代码生成方面取得了显著进展，能够将自然语言描述转化为功能代码。然而，实际应用通常需要更严格地遵守详细的要求，例如编码风格、代码行数和结构约束，而不仅仅是正确性。为了解决这个问题，本文提出了前向和后向约束生成方法，以提高代码LLM在可控代码生成中的指令遵循能力，确保输出更紧密地符合人为定义的指导原则。作者进一步提出了IFEvalCode，这是一个多语言基准，包含七种编程语言（Python、Java、JavaScript、TypeScript、Shell、C++和C#）的1.6K个测试样本，每个样本都包含中文和英文查询。与现有基准不同，IFEvalCode将评估分解为两个指标：正确性（Corr.）和指令遵循（Instr.），从而实现更细致的评估。对40多个LLM的实验表明，闭源模型在可控代码生成方面优于开源模型，并突出了模型生成正确代码与精确遵循指令的能力之间存在显著差距。

🔬 方法详解

问题定义：现有代码大语言模型虽然在代码生成方面取得了很大进展，但实际应用中，用户往往需要对生成的代码有更细粒度的控制，例如代码风格、代码长度、代码结构等。现有方法往往只关注代码的正确性，而忽略了这些指令遵循方面的要求，导致生成的代码难以直接应用。

核心思路：论文的核心思路是通过引入前向和后向约束生成机制，来引导代码大语言模型生成更符合用户指令的代码。前向约束指的是在生成代码之前，先明确用户对代码的约束条件；后向约束指的是在生成代码之后，对代码进行约束检查和调整，以确保代码符合用户的要求。

技术框架：该方法主要包含以下几个模块：1) 指令解析模块：负责解析用户输入的自然语言指令，提取出代码生成的目标和约束条件。2) 前向约束生成模块：根据指令解析的结果，生成代码生成的前向约束，例如代码风格、代码长度等。3) 代码生成模块：利用代码大语言模型，根据前向约束生成代码。4) 后向约束检查模块：对生成的代码进行约束检查，判断代码是否符合用户的要求。5) 代码调整模块：如果代码不符合用户的要求，则对代码进行调整，直到代码符合用户的要求为止。

关键创新：该论文的关键创新在于提出了前向和后向约束生成机制，将代码生成过程分解为多个阶段，并在每个阶段都引入了约束条件，从而有效地提高了代码大语言模型在可控代码生成方面的能力。此外，论文还构建了一个多语言的指令遵循代码生成基准IFEvalCode，为后续研究提供了评估平台。

关键设计：IFEvalCode基准包含七种编程语言（Python、Java、JavaScript、TypeScript、Shell、C++和C#）的1.6K个测试样本，每个样本都包含中文和英文查询。评估指标包括代码正确性（Corr.）和指令遵循程度（Instr.）。论文没有详细描述具体的参数设置、损失函数或网络结构，因为该方法可以应用于不同的代码大语言模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，闭源模型在可控代码生成方面优于开源模型。在IFEvalCode基准测试中，闭源模型在代码正确性方面取得了较好的结果，但在指令遵循方面仍有提升空间。实验还发现，模型生成正确代码与精确遵循指令的能力之间存在显著差距，表明指令遵循是当前代码大模型面临的一个重要挑战。

🎯 应用场景

该研究成果可应用于自动化代码生成、代码风格迁移、代码缺陷修复等领域。通过提升代码大模型对指令的遵循能力，可以更好地满足用户对代码的个性化需求，提高软件开发的效率和质量。未来，该技术有望在低代码/无代码平台、AI辅助编程等领域发挥重要作用。

📄 摘要（原文）

Code large language models (Code LLMs) have made significant progress in code generation by translating natural language descriptions into functional code; however, real-world applications often demand stricter adherence to detailed requirements such as coding style, line count, and structural constraints, beyond mere correctness. To address this, the paper introduces forward and backward constraints generation to improve the instruction-following capabilities of Code LLMs in controlled code generation, ensuring outputs align more closely with human-defined guidelines. The authors further present IFEvalCode, a multilingual benchmark comprising 1.6K test samples across seven programming languages (Python, Java, JavaScript, TypeScript, Shell, C++, and C#), with each sample featuring both Chinese and English queries. Unlike existing benchmarks, IFEvalCode decouples evaluation into two metrics: correctness (Corr.) and instruction-following (Instr.), enabling a more nuanced assessment. Experiments on over 40 LLMs reveal that closed-source models outperform open-source ones in controllable code generation and highlight a significant gap between the models' ability to generate correct code versus code that precisely follows instructions.