Code Researcher: Deep Research Agent for Large Systems Code and Commit History

📄 arXiv: 2506.11060v1 📥 PDF

作者: Ramneet Singh, Sathvik Joel, Abhav Mehrotra, Nalin Wadhwa, Ramakrishna B Bairi, Aditya Kanade, Nagarajan Natarajan

分类: cs.SE, cs.AI

发布日期: 2025-05-27

💡 一句话要点

提出Code Researcher以解决系统代码补丁生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度学习 系统代码 补丁生成 多步推理 结构化内存 代码维护 崩溃解决

📋 核心要点

  1. 现有的基于大型语言模型的编码代理在处理系统代码时效果有限，尤其是在复杂的代码库中进行修改时面临挑战。
  2. 本文提出的Code Researcher通过多步推理和结构化内存来收集上下文信息，从而有效生成系统代码的补丁。
  3. 实验结果显示，Code Researcher在Linux内核崩溃的解决率上显著优于现有方法，且在探索代码库的深度上表现突出。

📝 摘要（中文）

基于大型语言模型的编码代理在编码基准测试中表现出色，但在系统代码上的有效性仍未得到充分探索。由于系统代码的复杂性，修改代码库是一项艰巨的任务，需要研究大量上下文信息。为此，本文设计了首个深度研究代理Code Researcher，专注于生成补丁以缓解系统代码中的崩溃问题。Code Researcher通过多步推理收集上下文信息，并利用结构化内存合成补丁。实验结果表明，Code Researcher在Linux内核崩溃基准kBenchSyz上显著优于基线方法，崩溃解决率达到58%，而SWE-agent为37.5%。此外，Code Researcher在开源多媒体软件上的实验展示了其广泛的适用性。

🔬 方法详解

问题定义：本文旨在解决系统代码中崩溃问题的补丁生成，现有方法在处理复杂代码库时缺乏有效的上下文收集和推理能力。

核心思路：Code Researcher通过多步推理和结构化内存设计，能够深入理解代码的语义和历史，从而生成高质量的补丁。

技术框架：整体架构包括上下文收集模块、推理模块和补丁生成模块。上下文收集模块从代码和提交历史中提取信息，推理模块进行多层次的语义分析，补丁生成模块则基于收集的上下文合成最终补丁。

关键创新：Code Researcher的主要创新在于其结构化内存的使用和多步推理能力，使其能够在复杂的代码库中进行深度探索，显著提升补丁生成的准确性和效率。

关键设计：在设计中，Code Researcher采用了特定的损失函数以优化补丁的生成质量，并通过调节模型参数来提高推理的准确性和上下文的相关性。整体网络结构经过精心设计，以适应系统代码的复杂性。

📊 实验亮点

实验结果表明，Code Researcher在kBenchSyz基准测试中实现了58%的崩溃解决率，显著高于SWE-agent的37.5%。此外，Code Researcher在每个探索轨迹中平均探查10个文件，而SWE-agent仅探查1.33个文件，显示出其在代码库深度探索方面的优势。

🎯 应用场景

Code Researcher的潜在应用场景包括操作系统、嵌入式系统及其他大型软件项目的代码维护与更新。其高效的补丁生成能力能够显著降低开发者的工作负担，提高系统的稳定性和安全性。未来，该技术还可能扩展到其他领域，如自动化测试和代码审查等。

📄 摘要（原文）

Large Language Model (LLM)-based coding agents have shown promising results on coding benchmarks, but their effectiveness on systems code remains underexplored. Due to the size and complexities of systems code, making changes to a systems codebase is a daunting task, even for humans. It requires researching about many pieces of context, derived from the large codebase and its massive commit history, before making changes. Inspired by the recent progress on deep research agents, we design the first deep research agent for code, called Code Researcher, and apply it to the problem of generating patches for mitigating crashes reported in systems code. Code Researcher performs multi-step reasoning about semantics, patterns, and commit history of code to gather sufficient context. The context is stored in a structured memory which is used for synthesizing a patch. We evaluate Code Researcher on kBenchSyz, a benchmark of Linux kernel crashes, and show that it significantly outperforms strong baselines, achieving a crash-resolution rate of 58%, compared to 37.5% by SWE-agent. On an average, Code Researcher explores 10 files in each trajectory whereas SWE-agent explores only 1.33 files, highlighting Code Researcher's ability to deeply explore the codebase. Through another experiment on an open-source multimedia software, we show the generalizability of Code Researcher. Our experiments highlight the importance of global context gathering and multi-faceted reasoning for large codebases.