Code Researcher: Deep Research Agent for Large Systems Code and Commit History
作者: Ramneet Singh, Sathvik Joel, Abhav Mehrotra, Nalin Wadhwa, Ramakrishna B Bairi, Aditya Kanade, Nagarajan Natarajan
分类: cs.SE, cs.AI
发布日期: 2025-05-27
💡 一句话要点
提出Code Researcher：用于大型系统代码和提交历史的深度研究Agent
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度研究Agent 代码修复 系统代码 大型语言模型 代码分析 上下文理解 自动化软件维护
📋 核心要点
- 现有基于LLM的编码Agent在系统代码上的应用效果不佳，难以应对大型代码库的复杂性和规模。
- Code Researcher通过多步骤推理和结构化内存，深入探索代码库和提交历史，获取全局上下文信息。
- 实验表明，Code Researcher在Linux内核崩溃修复任务中显著优于现有方法，并具有良好的通用性。
📝 摘要（中文）
基于大型语言模型（LLM）的编码Agent在编码基准测试中表现出良好的结果，但它们在系统代码中的有效性仍未得到充分探索。由于系统代码的规模和复杂性，即使对于人类来说，对系统代码库进行更改也是一项艰巨的任务。在进行更改之前，需要研究来自大型代码库及其大量提交历史的许多上下文信息。受到深度研究Agent最新进展的启发，我们设计了第一个用于代码的深度研究Agent，称为Code Researcher，并将其应用于生成补丁以减轻系统代码中报告的崩溃的问题。Code Researcher对代码的语义、模式和提交历史执行多步骤推理，以收集足够的上下文。上下文存储在结构化内存中，用于合成补丁。我们在kBenchSyz（一个Linux内核崩溃基准测试）上评估了Code Researcher，结果表明它显著优于强大的基线，实现了58%的崩溃解决率，而SWE-agent为37.5%。平均而言，Code Researcher在每个轨迹中探索10个文件，而SWE-agent仅探索1.33个文件，突显了Code Researcher深入探索代码库的能力。通过在开源多媒体软件上的另一项实验，我们展示了Code Researcher的通用性。我们的实验强调了全局上下文收集和多方面推理对于大型代码库的重要性。
🔬 方法详解
问题定义：论文旨在解决大型系统代码库中崩溃修复的自动化问题。现有方法，如SWE-agent，在处理大型、复杂的系统代码时，由于缺乏对全局上下文的深入理解，导致修复成功率较低。人工修复需要耗费大量时间进行代码和提交历史的研究，效率低下。
核心思路：论文的核心思路是构建一个深度研究Agent，使其能够像人类研究员一样，通过多步骤推理，从代码库和提交历史中提取关键信息，形成对问题的全面理解。这种全局上下文的理解是生成有效补丁的关键。
技术框架：Code Researcher包含以下主要模块：1) 上下文收集模块：通过分析代码的语义、模式和提交历史，收集相关信息。2) 结构化内存：用于存储收集到的上下文信息，方便后续访问和推理。3) 补丁合成模块：基于结构化内存中的信息，生成用于修复崩溃的补丁。整个流程是一个迭代过程，Agent会不断探索和更新上下文信息，直到生成满意的补丁。
关键创新：Code Researcher的关键创新在于其深度研究能力，能够进行多步骤推理，从海量代码和提交历史中提取关键信息。与现有方法相比，Code Researcher能够更全面地理解问题，从而生成更有效的补丁。此外，结构化内存的设计使得Agent能够有效地组织和利用收集到的上下文信息。
关键设计：论文中未明确给出关键参数设置、损失函数或网络结构的具体细节。但可以推断，上下文收集模块可能使用了代码分析、信息检索和自然语言处理等技术。结构化内存的设计可能借鉴了知识图谱或向量数据库等技术。补丁合成模块可能使用了代码生成或代码补全等技术。这些技术的具体实现细节未知。
🖼️ 关键图片
📊 实验亮点
Code Researcher在kBenchSyz基准测试中取得了显著的成果，崩溃解决率达到58%，远高于SWE-agent的37.5%。此外，Code Researcher平均每个轨迹探索10个文件，而SWE-agent仅探索1.33个文件，表明Code Researcher具有更强的代码库探索能力。在开源多媒体软件上的实验也验证了Code Researcher的通用性。
🎯 应用场景
Code Researcher具有广泛的应用前景，可用于自动化软件维护、漏洞修复和代码改进。它可以帮助开发人员快速定位和修复代码中的问题，提高软件质量和开发效率。此外，该研究思路还可以应用于其他需要深入理解和分析大型代码库的场景，例如代码审计和代码重构。
📄 摘要（原文）
Large Language Model (LLM)-based coding agents have shown promising results on coding benchmarks, but their effectiveness on systems code remains underexplored. Due to the size and complexities of systems code, making changes to a systems codebase is a daunting task, even for humans. It requires researching about many pieces of context, derived from the large codebase and its massive commit history, before making changes. Inspired by the recent progress on deep research agents, we design the first deep research agent for code, called Code Researcher, and apply it to the problem of generating patches for mitigating crashes reported in systems code. Code Researcher performs multi-step reasoning about semantics, patterns, and commit history of code to gather sufficient context. The context is stored in a structured memory which is used for synthesizing a patch. We evaluate Code Researcher on kBenchSyz, a benchmark of Linux kernel crashes, and show that it significantly outperforms strong baselines, achieving a crash-resolution rate of 58%, compared to 37.5% by SWE-agent. On an average, Code Researcher explores 10 files in each trajectory whereas SWE-agent explores only 1.33 files, highlighting Code Researcher's ability to deeply explore the codebase. Through another experiment on an open-source multimedia software, we show the generalizability of Code Researcher. Our experiments highlight the importance of global context gathering and multi-faceted reasoning for large codebases.