CodeScout: An Effective Recipe for Reinforcement Learning of Code Search Agents
作者: Lintang Sutawika, Aditya Bharat Soni, Bharath Sriraam R R, Apurva Gandhi, Taha Yassine, Sanidhya Vijayvargiya, Yuchen Li, Xuhui Zhou, Yilin Zhang, Leander Melroy Maben, Graham Neubig
分类: cs.SE, cs.AI, cs.CL
发布日期: 2026-03-18
💡 一句话要点
CodeScout：利用强化学习和标准Unix终端实现高效代码搜索
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 代码搜索 强化学习 代码智能体 Unix终端 代码定位
📋 核心要点
- 现有代码搜索智能体依赖复杂工具（如代码仓库图），增加了部署和维护成本，限制了其通用性。
- CodeScout利用强化学习，仅使用标准Unix终端训练代码搜索智能体，降低了对特定工具的依赖。
- 实验表明，CodeScout在多个基准测试中超越或媲美更大规模的LLM，甚至接近闭源模型，证明了其有效性。
📝 摘要（中文）
代码定位是编码智能体在大规模代码仓库上执行任务的先决条件，即识别相关的文件、类和函数。虽然代码仓库级别的代码定位已经通过基于嵌入的检索方法（如向量搜索）实现，但最近的工作集中于开发智能体来定位相关代码，作为执行实际工作的前置步骤或与实际工作交织进行。以往关于智能体代码搜索的方法大多为智能体配备了复杂、专门的工具，例如从静态分析导出的代码仓库图。本文证明，通过有效的强化学习方法，仅配备标准Unix终端的编码智能体也能训练出强大的性能。在SWE-Bench Verified、Pro和Lite三个基准测试上的实验表明，我们的模型始终优于或可媲美参数量大2-18倍的基础LLM和后训练LLM，有时甚至接近像Claude Sonnet这样的闭源模型的性能，即使后者使用了专门的脚手架。我们的工作特别关注于将现有的编码智能体环境重新用于代码搜索、奖励设计和强化学习优化。我们发布了最终的模型家族CodeScout，以及我们所有的代码和数据，供社区在此基础上进行构建。
🔬 方法详解
问题定义：论文旨在解决代码搜索智能体对复杂工具的依赖问题。现有方法通常需要预先构建代码仓库图等结构，增加了计算开销和维护难度，并且可能限制了智能体的泛化能力。因此，如何设计一个简单而有效的代码搜索智能体，使其能够仅通过基本的交互方式（如Unix终端）就能完成代码定位任务，是本文要解决的核心问题。
核心思路：论文的核心思路是利用强化学习，训练一个智能体通过与Unix终端的交互来学习代码搜索策略。智能体通过执行一系列命令（如ls、cd、grep等）来探索代码仓库，并根据搜索结果获得奖励。通过不断地试错和学习，智能体逐渐掌握高效的代码搜索方法。这种方法避免了对复杂代码仓库结构的依赖，使得智能体更加灵活和通用。
技术框架：CodeScout的技术框架主要包括以下几个部分：1) 智能体：负责与环境交互，执行代码搜索命令；2) 环境：模拟Unix终端，提供代码仓库的访问接口；3) 奖励函数：根据智能体的搜索结果，给予相应的奖励或惩罚；4) 强化学习算法：用于训练智能体，使其学习最优的搜索策略。整个流程如下：智能体观察环境状态（如当前目录下的文件列表），选择一个命令执行，环境执行该命令并返回新的状态和奖励，智能体根据新的状态和奖励更新其策略，重复以上步骤直到达到终止条件。
关键创新：CodeScout的关键创新在于其简洁性和有效性。它避免了对复杂代码仓库结构的依赖，仅使用标准Unix终端作为交互接口，降低了系统的复杂性。同时，通过精心设计的奖励函数和强化学习算法，CodeScout能够学习到高效的代码搜索策略，并在多个基准测试中取得了优异的性能。这种简洁而有效的设计理念是CodeScout的核心竞争力。
关键设计：论文中关键的设计包括：1) 奖励函数的设计：奖励函数需要能够准确地反映智能体的搜索进度和结果，例如，找到目标文件给予正奖励，进入错误的目录给予负奖励。2) 强化学习算法的选择：论文采用了合适的强化学习算法（具体算法未知），以保证智能体能够快速有效地学习到最优策略。3) 状态表示：如何将Unix终端的状态（如文件列表）有效地表示为智能体的输入，也是一个关键的设计问题。具体的状态表示方法未知。
🖼️ 关键图片
📊 实验亮点
CodeScout在SWE-Bench Verified、Pro和Lite三个基准测试中表现出色，超越或媲美参数量大2-18倍的基础LLM和后训练LLM，有时甚至接近像Claude Sonnet这样的闭源模型的性能。这表明CodeScout在代码搜索任务中具有很强的竞争力。
🎯 应用场景
CodeScout具有广泛的应用前景，可用于自动化代码审查、代码重构、漏洞修复等任务。它可以帮助开发人员快速定位和理解代码，提高开发效率和代码质量。此外，CodeScout还可以应用于教育领域，帮助学生学习代码搜索和理解。
📄 摘要（原文）
A prerequisite for coding agents to perform tasks on large repositories is code localization - the identification of relevant files, classes, and functions to work on. While repository-level code localization has been performed using embedding-based retrieval approaches such as vector search, recent work has focused on developing agents to localize relevant code either as a standalone precursor to or interleaved with performing actual work. Most prior methods on agentic code search equip the agent with complex, specialized tools, such as repository graphs derived from static analysis. In this paper, we demonstrate that, with an effective reinforcement learning recipe, a coding agent equipped with nothing more than a standard Unix terminal can be trained to achieve strong results. Our experiments on three benchmarks (SWE-Bench Verified, Pro, and Lite) reveal that our models consistently achieve superior or competitive performance over 2-18x larger base and post-trained LLMs and sometimes approach performance provided by closed models like Claude Sonnet, even when using specialized scaffolds. Our work particularly focuses on techniques for re-purposing existing coding agent environments for code search, reward design, and RL optimization. We release the resulting model family, CodeScout, along with all our code and data for the community to build upon.