AuPair: Golden Example Pairs for Code Repair

📄 arXiv: 2502.18487v1 📥 PDF

作者: Aditi Mavalankar, Hassan Mansoor, Zita Marinho, Masha Samsikova, Tom Schaul

分类: cs.SE, cs.AI, cs.CL, cs.LG

发布日期: 2025-02-12

💡 一句话要点

AuPair：利用黄金示例对进行代码修复，提升大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码修复 大语言模型 上下文学习 黄金示例对 程序合成

📋 核心要点

  1. 现有大语言模型在代码修复中，缺乏有效利用上下文信息的方法，导致修复效果受限。
  2. AuPair方法通过构建和选择高质量的“错误代码-修复代码”示例对，为LLM提供更有效的上下文学习信息。
  3. 实验表明，AuPair方法显著提升了代码修复的性能，并在不同模型和数据集上表现出良好的泛化能力。

📝 摘要（中文）

本文提出了一种名为AuPair的方法，用于提升大语言模型（LLM）在代码修复任务中的性能，无需进行微调。该方法的核心思想是合成并选择一组有序的黄金示例对（AuPair），每个AuPair包含一个初始的错误代码和一个对应的修复后的代码。在推理时，每个AuPair作为一个上下文示例提供给LLM，以生成修复后的解决方案。对于每个问题，使用N个AuPair生成N个修复方案，并选择得分最高的方案作为最终答案。该算法旨在选择具有互补性和实用性的AuPair，从而使LLM能够生成多样化的修复方案。实验结果表明，该算法在代码修复任务中，相较于best-of-N和self-repair等基线方法，在多个LLM和数据集上均取得了显著的性能提升，并展现出强大的泛化能力和随推理计算预算增加的扩展性。

🔬 方法详解

问题定义：论文旨在解决大语言模型在代码修复任务中，如何更有效地利用上下文信息，提升修复准确率的问题。现有方法，如直接修复或best-of-N等，未能充分利用LLM的上下文学习能力，导致修复效果提升有限。

核心思路：论文的核心思路是构建并选择高质量的“错误代码-修复代码”示例对（AuPair），作为LLM的上下文信息。通过提供精心挑选的修复案例，引导LLM学习修复模式，从而生成更准确的修复方案。这种方法旨在利用LLM的上下文学习能力，提高代码修复的效率和准确性。

技术框架：AuPair方法主要包含以下几个阶段：1) 生成初始猜测：使用LLM对原始代码进行初步修复，生成初始的错误代码。2) 生成修复代码：对初始的错误代码进行修复，得到对应的修复代码。3) AuPair构建：将初始错误代码和修复代码组成AuPair。4) AuPair选择：根据互补性和实用性原则，从候选AuPair集合中选择最优的AuPair子集。5) 推理修复：在推理时，将选择的AuPair作为上下文示例，输入LLM进行代码修复。6) 结果选择：生成多个修复方案，并选择得分最高的方案作为最终结果。

关键创新：该方法最重要的创新在于AuPair的构建和选择策略。传统的上下文学习方法通常使用随机或简单的选择策略，而AuPair方法通过精心设计的算法，选择具有互补性和实用性的示例对，从而更有效地引导LLM进行代码修复。与现有方法的本质区别在于，AuPair方法关注于提供高质量的修复案例，而非仅仅依赖于LLM自身的修复能力。

关键设计：AuPair的选择算法是关键设计之一。该算法旨在选择能够最大化LLM修复性能的AuPair集合。具体的选择策略可能包括：1) 多样性选择：选择具有不同修复模式的AuPair，以提高修复方案的多样性。2) 难度选择：选择具有一定难度的AuPair，以提高LLM的学习能力。3) 相关性选择：选择与当前问题相关的AuPair，以提高修复的准确性。具体的参数设置和损失函数等技术细节在论文中可能有所描述，但摘要中未明确提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AuPair方法在多个LLM（包括但不限于具体模型名称）和7个竞争性编程数据集上均取得了显著的性能提升。相较于best-of-N和self-repair等基线方法，AuPair方法在代码修复任务中取得了明显的优势，并且展现出更强的泛化能力和随推理计算预算增加的扩展性。具体的性能提升幅度在摘要中未明确给出，需要在论文中查找。

🎯 应用场景

AuPair方法可应用于自动化代码修复、代码生成、软件开发辅助等领域。通过提升代码修复的准确性和效率，可以减少开发人员的调试时间，提高软件质量。该方法还可用于教育领域，帮助学生学习代码修复技巧。未来，该方法有望与集成开发环境（IDE）集成，为开发人员提供实时的代码修复建议。

📄 摘要（原文）

Scaling up inference-time compute has proven to be a valuable strategy in improving the performance of Large Language Models (LLMs) without fine-tuning. An important task that can benefit from additional inference-time compute is self-repair; given an initial flawed response, or guess, the LLM corrects its own mistake and produces an improved response, or fix. We leverage the in-context learning ability of LLMs to perform self-repair in the coding domain. The key contribution of our paper is an approach that synthesises and selects an ordered set of golden example pairs, or AuPairs, of these initial guesses and subsequent fixes for the corresponding problems. Each such AuPair is provided as a single in-context example at inference time to generate a repaired solution. For an inference-time compute budget of $N$ LLM calls per problem, $N$ AuPairs are used to generate $N$ repaired solutions, out of which the highest-scoring solution is selected as the final answer. The underlying intuition is that if the LLM is given a different example of fixing an incorrect guess each time, it can subsequently generate a diverse set of repaired solutions. Our algorithm selects these AuPairs in a manner that maximises complementarity and usefulness. We demonstrate the results of our algorithm on 5 LLMs across 7 competitive programming datasets for the code repair task. Our algorithm yields a significant boost in performance compared to best-of-$N$ and self-repair, and also exhibits strong generalisation across datasets and models. Moreover, our approach shows significantly stronger scaling with inference-time compute budget compared to baselines.