To Diff or Not to Diff? Structure-Aware and Adaptive Output Formats for Efficient LLM-based Code Editing

📄 arXiv: 2604.27296v1 📥 PDF

作者: Wei Cheng, Yongchang Cao, Chen Shen, Binhua Li, Jue Chen, Yongbin Li, Wei Hu

分类: cs.SE, cs.CL

发布日期: 2026-04-30

备注: Accepted in the Findings of ACL 2026

💡 一句话要点

提出结构感知自适应编辑方法AdaEdit，提升LLM代码编辑效率并降低成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码编辑 大型语言模型 结构感知 自适应编辑 代码生成

📋 核心要点

  1. 现有全代码生成范式在代码编辑中效率低下，难以满足交互式编码助手对低延迟和低成本的需求。
  2. 提出结构感知的BlockDiff和FuncDiff格式，以及自适应编辑策略AdaEdit，动态选择最优编辑方式。
  3. 实验表明，AdaEdit在保证准确率的同时，显著降低了代码编辑的延迟和成本，提升超过30%。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于代码编辑，但目前流行的全代码生成模式存在严重的效率瓶颈，对需要低延迟和低成本的交互式编码助手构成了挑战。尽管人们主要关注扩展模型能力，但编辑格式本身在模型训练中很大程度上被忽视了。本文首先对传统的diff格式进行了系统研究，发现脆弱的偏移量和分散的块使得LLM的生成非常不自然。为了解决这个问题，我们引入了BlockDiff和FuncDiff，这两种结构感知的diff格式将更改表示为语法上连贯的单元（如控制结构和函数）的块级重写。此外，我们提出了一种通用的自适应编辑策略AdaEdit，该策略训练LLM以动态地在给定的diff格式和全代码之间选择token效率最高的格式。大量实验表明，AdaEdit与结构感知的diff格式相结合，在长代码编辑任务中始终与全代码生成的准确性相匹配，同时将延迟和成本降低了30%以上。

🔬 方法详解

问题定义：现有基于LLM的代码编辑方法主要采用全代码生成模式，这种方式在处理长代码时效率低下，计算成本高昂，难以满足交互式代码编辑场景对低延迟的要求。传统的diff格式虽然能减少生成量，但其脆弱的偏移量和分散的修改块使得LLM难以自然地生成。

核心思路：论文的核心思路是设计更适合LLM生成的结构化diff格式，并结合自适应编辑策略，让LLM能够根据具体情况选择最高效的编辑方式。通过结构化diff格式，减少LLM生成过程中的不确定性，提高生成效率。自适应编辑策略则进一步提升了灵活性，允许模型在diff和全代码生成之间动态切换。

技术框架：AdaEdit框架包含三个主要组成部分：1) 结构化Diff格式（BlockDiff和FuncDiff），用于将代码更改表示为块级别的重写；2) LLM编码器-解码器模型，用于生成代码编辑；3) 自适应编辑策略，训练LLM动态选择diff格式或全代码生成。整体流程是，给定原始代码和目标代码，首先使用结构化Diff格式生成候选编辑，然后LLM根据输入选择最佳编辑方式并生成最终代码。

关键创新：论文的关键创新在于提出了结构感知的diff格式（BlockDiff和FuncDiff）以及自适应编辑策略AdaEdit。结构感知的diff格式通过将代码更改表示为语法上连贯的单元的块级重写，使得LLM更容易理解和生成代码编辑。AdaEdit则通过训练LLM动态选择最佳编辑方式，进一步提高了编辑效率。

关键设计：BlockDiff将代码更改表示为控制结构的块级重写，FuncDiff将代码更改表示为函数的块级重写。AdaEdit使用一个分类器来预测使用diff格式还是全代码生成，该分类器基于输入代码的特征进行训练。损失函数包括代码生成损失和编辑方式选择损失，共同优化LLM的性能。具体实现细节包括tokenization方式、模型架构选择、训练数据构建等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaEdit与结构感知的diff格式相结合，在长代码编辑任务中能够达到与全代码生成相当的准确率，同时将延迟和成本降低超过30%。与传统的diff格式相比，结构感知的diff格式也显著提升了LLM的生成效率。

🎯 应用场景

该研究成果可应用于智能IDE、代码自动补全、代码重构工具等领域，提升开发者的编码效率，降低云计算资源消耗。通过更高效的代码编辑方式，可以支持更大规模的代码库和更复杂的代码编辑任务，加速软件开发进程。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used for code editing, yet the prevalent full-code generation paradigm suffers from severe efficiency bottlenecks, posing challenges for interactive coding assistants that demand low latency and cost. Despite the predominant focus on scaling model capabilities, the edit format itself has been largely overlooked in model training. In this paper, we begin with a systematic study of conventional diff formats and reveal that fragile offsets and fragmented hunks make generation highly unnatural for LLMs. To address it, we introduce BlockDiff and FuncDiff, two structure-aware diff formats that represent changes as block-level rewrites of syntactically coherent units such as control structures and functions. Furthermore, we propose AdaEdit, a general adaptive edit strategy that trains LLMs to dynamically choose the most token-efficient format between a given diff format and full code. Extensive experiments demonstrate that AdaEdit paired with structure-aware diff formats consistently matches the accuracy of full-code generation, while reducing both latency and cost by over 30% on long-code editing tasks.