Reinforcement Learning Foundations for Deep Research Systems: A Survey
作者: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu
分类: cs.AI, cs.CL, cs.IR
发布日期: 2025-09-08 (更新: 2025-11-05)
备注: 39 pages, second version
💡 一句话要点
综述：深度研究系统的强化学习基础，关注智能体架构、训练方法与评估基准
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 深度研究系统 智能体 工具使用 多目标优化
📋 核心要点
- 现有深度研究系统训练方法（如SFT和DPO）存在模仿偏差、依赖人工标注和难以进行长时程信用分配等问题。
- 本综述聚焦于利用强化学习优化深度研究系统的轨迹级策略，以实现更好的探索、恢复行为和信用分配，并减少对人工先验的依赖。
- 文章系统地整理了深度研究系统中强化学习的最新进展，包括数据合成、训练方法、系统框架以及评估基准。
📝 摘要（中文）
深度研究系统，即通过协调推理、网络搜索和工具使用来解决复杂多步骤任务的智能体AI，正朝着具有规划器、协调器和执行器的分层部署发展。端到端训练整个堆栈在实践中仍然不切实际，因此大多数工作训练连接到搜索、浏览和代码等核心工具的单个规划器。虽然SFT赋予了协议保真度，但它受到模仿和暴露偏差的影响，并且未能充分利用环境反馈。偏好对齐方法（如DPO）依赖于模式和代理，是离策略的，并且在长时程信用分配和多目标权衡方面表现较弱。SFT和DPO的另一个局限性在于它们依赖于人类定义的决策点和通过模式设计和标记比较获得的子技能。强化学习通过优化轨迹级策略，实现探索、恢复行为和有原则的信用分配，从而与闭环、工具交互研究相一致，并减少了对人类先验和评估者偏差的依赖。本综述是据我们所知第一个专门针对深度研究系统的强化学习基础的综述。它沿着三个轴系统化了最近的工作：（i）数据合成和管理；（ii）用于智能体研究的强化学习方法，涵盖稳定性、样本效率、长上下文处理、奖励和信用设计、多目标优化和多模态集成；（iii）智能体强化学习训练系统和框架。我们还涵盖了智能体架构和协调，以及评估和基准，包括最近的QA、VQA、长篇合成和领域相关的工具交互任务。我们提炼出反复出现的模式，揭示基础设施瓶颈，并为使用强化学习训练稳健、透明的深度研究智能体提供实用指导。
🔬 方法详解
问题定义：深度研究系统旨在解决复杂、多步骤的任务，需要智能体具备推理、搜索、工具使用等能力。现有方法，如监督微调（SFT）和直接偏好优化（DPO），存在以下痛点：模仿学习的偏差导致探索不足；依赖人工标注，成本高昂且引入主观偏差；难以进行长时程信用分配，无法有效学习长期策略。
核心思路：本综述的核心思路是利用强化学习（RL）的优势来克服现有方法的局限性。RL通过与环境的交互学习，能够进行更有效的探索，发现更优的策略。同时，RL可以基于奖励信号进行信用分配，解决长时程依赖问题。此外，RL可以减少对人工标注的依赖，降低训练成本。
技术框架：本综述将深度研究系统的强化学习方法分为三个主要方面：数据合成与管理、强化学习方法和智能体强化学习训练系统与框架。数据合成与管理关注如何生成高质量的训练数据，包括模拟环境的构建和真实数据的增强。强化学习方法涵盖了稳定性、样本效率、长上下文处理、奖励和信用设计、多目标优化和多模态集成等关键技术。智能体强化学习训练系统与框架则关注如何构建高效的训练平台，支持大规模的智能体训练。
关键创新：本综述的关键创新在于系统性地总结了深度研究系统中强化学习的应用，并指出了未来的研究方向。它强调了RL在解决现有方法局限性方面的潜力，并为研究人员提供了全面的指导。与以往的研究不同，本综述更加关注整体框架和系统性的解决方案，而不仅仅是单个算法的改进。
关键设计：本综述没有提出具体的算法或模型，而是对现有方法进行了分类和总结。关键设计体现在对不同方法的选择和组合上，例如，如何设计合适的奖励函数，如何选择合适的RL算法，如何构建高效的训练环境等。这些设计需要根据具体的任务和场景进行调整。
🖼️ 关键图片
📊 实验亮点
本综述系统地整理了深度研究系统中强化学习的最新进展，涵盖了数据合成、训练方法、系统框架以及评估基准等多个方面。它提炼出反复出现的模式，揭示基础设施瓶颈，并为使用强化学习训练稳健、透明的深度研究智能体提供实用指导。
🎯 应用场景
该研究对开发更智能、更自主的AI助手具有重要意义。这些助手可以应用于科学研究、问题解决、决策支持等领域，帮助人们更高效地完成复杂任务。例如，可以构建一个能够自动进行文献综述、实验设计和数据分析的科研助手。
📄 摘要（原文）
Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes recent work along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.