MemoCoder: Automated Function Synthesis using LLM-Supported Agents

📄 arXiv: 2507.18812v1 📥 PDF

作者: Yiping Jia, Zhen Ming Jiang, Shayan Noei, Ying Zou

分类: cs.SE, cs.AI

发布日期: 2025-07-24

💡 一句话要点

MemoCoder：利用LLM支持的多智能体实现自动化函数合成，解决迭代调试难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 多智能体系统 自我修复 知识库

📋 核心要点

  1. 现有代码生成方法在处理需要迭代调试和错误处理的复杂编程任务时存在不足，缺乏有效的知识积累和重用机制。
  2. MemoCoder通过构建多智能体框架，利用修复知识集存储和检索成功修复方案，实现协作问题解决和持续学习。
  3. 实验结果表明，MemoCoder在多个基准测试中显著优于零样本提示和自我修复策略，证明了其在代码生成方面的有效性。

📝 摘要（中文）

随着GitHub Copilot和ChatGPT等大型语言模型（LLM）的广泛应用，开发者越来越依赖AI辅助工具来支持代码生成。虽然LLM可以为结构良好的编程任务生成符合语法的解决方案，但它们在需要迭代调试、错误处理或适应不同问题结构的任务中常常表现不佳。现有的方法，如微调或自我修复策略，要么需要昂贵的重新训练，要么缺乏从先前尝试中积累和重用知识的机制。为了解决这些限制，我们提出了MemoCoder，一个多智能体框架，它能够实现协作问题解决和从过去的修复中持续学习。MemoCoder的核心是一个修复知识集，它存储成功的修复并支持未来任务的检索。一个中央导师智能体通过识别重复出现的错误模式和改进高层次的修复策略来监督修复过程，提供了一种新颖的监督角色，指导自我修复循环。我们在三个公共基准测试（MBPP、HumanEval和LiveCodeBench）上评估了MemoCoder，涵盖了一系列问题复杂度。实验结果表明，MemoCoder始终优于零样本提示和自我修复策略，Pass@10的改进范围为3.1%到12.1%，Pass@50的改进范围为1.4%到14.5%，证明了其在迭代改进和知识引导的代码生成方面的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂编程任务中代码生成能力不足的问题。现有方法，如微调和自我修复，要么成本高昂，要么缺乏有效的知识积累和重用机制，导致在迭代调试和错误处理方面表现不佳。

核心思路：MemoCoder的核心思路是构建一个多智能体协作框架，通过显式地存储和检索修复知识，实现从过去的错误中学习和改进。这种方法借鉴了人类程序员在解决问题时积累经验并复用的思想。

技术框架：MemoCoder包含以下主要模块：1) 修复知识集：存储成功的修复方案，作为后续任务的知识库。2) 多个智能体：负责代码生成、错误检测和修复等任务。3) 导师智能体：监督整个修复过程，识别错误模式，并改进修复策略。整个流程是一个迭代的自我修复循环，导师智能体根据修复知识集和当前任务状态，指导其他智能体进行代码生成和修复。

关键创新：MemoCoder的关键创新在于引入了导师智能体，它不仅监督修复过程，还负责从过去的修复中学习，并改进未来的修复策略。这种监督学习机制使得MemoCoder能够持续积累知识，并提高代码生成的效率和质量。与传统的自我修复方法相比，MemoCoder更加注重知识的积累和重用。

关键设计：修复知识集的设计是关键。具体实现细节未知，但可以推测其可能包含错误类型、错误位置、修复方案等信息。导师智能体的训练方式也未知，可能采用强化学习或监督学习等方法。论文中未提及具体的参数设置、损失函数或网络结构等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MemoCoder在MBPP、HumanEval和LiveCodeBench三个基准测试中均取得了显著的性能提升。具体而言，Pass@10指标的提升范围为3.1%到12.1%，Pass@50指标的提升范围为1.4%到14.5%。这些结果表明，MemoCoder在迭代改进和知识引导的代码生成方面具有显著优势，优于零样本提示和自我修复等基线方法。

🎯 应用场景

MemoCoder具有广泛的应用前景，可用于自动化代码生成、软件修复和编程教育等领域。它可以帮助开发者更高效地编写代码，减少调试时间，并提高代码质量。此外，MemoCoder还可以作为一种辅助教学工具，帮助学生更好地理解编程概念和调试技巧。未来，MemoCoder有望成为AI辅助编程的重要组成部分。

📄 摘要（原文）

With the widespread adoption of Large Language Models (LLMs) such as GitHub Copilot and ChatGPT, developers increasingly rely on AI-assisted tools to support code generation. While LLMs can generate syntactically correct solutions for well-structured programming tasks, they often struggle with challenges that require iterative debugging, error handling, or adaptation to diverse problem structures. Existing approaches such as fine-tuning or self-repair strategies either require costly retraining or lack mechanisms to accumulate and reuse knowledge from previous attempts. To address these limitations, we propose MemoCoder, a multi-agent framework that enables collaborative problem solving and persistent learning from past fixes. At the core of MemoCoder is a Fixing Knowledge Set, which stores successful repairs and supports retrieval for future tasks. A central Mentor Agent supervises the repair process by identifying recurring error patterns and refining high-level fixing strategies, providing a novel supervisory role that guides the self-repair loop. We evaluate MemoCoder across three public benchmarks -- MBPP, HumanEval, and LiveCodeBench -- spanning a range of problem complexities. Experimental results show that MemoCoder consistently outperforms both zero-shot prompting and a Self-Repair strategy, with improvements ranging from 3.1% to 12.1% in Pass@10 and from 1.4% to 14.5% in Pass@50, demonstrating its effectiveness in iterative refinement and knowledge-guided code generation.