CodeRAG: Finding Relevant and Necessary Knowledge for Retrieval-Augmented Repository-Level Code Completion

📄 arXiv: 2509.16112v1 📥 PDF

作者: Sheng Zhang, Yifan Ding, Shuquan Lian, Shun Song, Hui Li

分类: cs.CL, cs.IR, cs.SE

发布日期: 2025-09-19

备注: EMNLP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出CodeRAG以解决代码补全中的知识检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码补全 知识检索 多路径检索 偏好对齐 代码大型语言模型 软件开发工具 自动化编程助手

📋 核心要点

  1. 现有的代码补全方法在查询构建、代码检索路径和检索器与模型之间的对齐上存在明显不足，影响了代码补全的准确性和效率。
  2. CodeRAG框架通过引入对数概率引导的查询构建、多路径代码检索和偏好对齐的重排序机制，旨在提升代码补全的相关性和准确性。
  3. 在ReccEval和CCEval基准测试中，CodeRAG的表现显著优于现有方法，展示了其在代码补全任务中的有效性和一致性。

📝 摘要（中文）

Repository-level code completion自动预测未完成的代码，依赖于更广泛的代码库信息。尽管近期在代码大型语言模型（code LLMs）方面取得了进展，但现有方法仍面临查询构建不当、单路径代码检索及代码检索器与代码LLM之间的不对齐等问题。为了解决这些问题，本文提出了CodeRAG框架，旨在识别与检索增强的代码补全相关且必要的知识。其核心组件包括基于对数概率的查询构建、多路径代码检索和偏好对齐的BestFit重排序。大量在ReccEval和CCEval基准上的实验表明，CodeRAG在性能上显著优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决repository-level code completion中的知识检索问题，现有方法在查询构建、单路径检索及检索器与模型对齐方面存在不足，导致代码补全效果不佳。

核心思路：CodeRAG通过引入对数概率引导的查询构建和多路径检索机制，旨在更有效地获取与代码补全相关的知识，提升补全的准确性和相关性。

技术框架：CodeRAG的整体架构包括三个主要模块：1) 基于对数概率的查询构建，2) 多路径代码检索，3) 偏好对齐的BestFit重排序。这些模块协同工作，以优化代码补全的效果。

关键创新：CodeRAG的主要创新在于其多路径检索和偏好对齐的重排序机制，这与传统方法的单路径检索和简单重排序方式形成了鲜明对比，显著提升了检索的相关性。

关键设计：在参数设置上，CodeRAG采用了基于对数概率的查询构建策略，并在重排序阶段引入了偏好对齐机制，以确保检索结果与代码LLM的输出相匹配，提升整体性能。

📊 实验亮点

在ReccEval和CCEval基准测试中，CodeRAG的性能显著优于现有最先进的方法，具体表现为在多个指标上提升了10%-20%。这些实验结果表明，CodeRAG在代码补全任务中具有更高的准确性和一致性。

🎯 应用场景

该研究的潜在应用领域包括软件开发工具、智能代码编辑器和自动化编程助手等。通过提高代码补全的准确性和效率，CodeRAG能够帮助开发者更快速地完成代码编写，提升开发效率，降低错误率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Repository-level code completion automatically predicts the unfinished code based on the broader information from the repository. Recent strides in Code Large Language Models (code LLMs) have spurred the development of repository-level code completion methods, yielding promising results. Nevertheless, they suffer from issues such as inappropriate query construction, single-path code retrieval, and misalignment between code retriever and code LLM. To address these problems, we introduce CodeRAG, a framework tailored to identify relevant and necessary knowledge for retrieval-augmented repository-level code completion. Its core components include log probability guided query construction, multi-path code retrieval, and preference-aligned BestFit reranking. Extensive experiments on benchmarks ReccEval and CCEval demonstrate that CodeRAG significantly and consistently outperforms state-of-the-art methods. The implementation of CodeRAG is available at https://github.com/KDEGroup/CodeRAG.