SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents

📄 arXiv: 2610.13157v1 📥 PDF

作者: Shengze Huang, Zihao Tang, Jinluan Yang, Xin Yu, Zhenghao Lin, Xiao Liu, Zengxuan Wen, Yeyun Gong, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang, Fei Wu, Kun Kuang

分类: cs.CL

发布日期: 2026-10-09

备注: 17 pages, 3 figures, 16 tables

💡 一句话要点

提出SOAR以解决搜索代理中的证据伪造问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 证据伪造 知识流 源意识 策略演化 信息检索 智能代理

📋 核心要点

  1. 现有的强化学习方法在搜索代理中容易出现证据伪造，导致生成错误答案。
  2. SOAR通过源意识工作流将外部和内部知识解耦，并引入源一致奖励来指导策略演化。
  3. 实验结果显示，SOAR在多个基线模型上显著提升了性能，并有效减少了证据伪造现象。

📝 摘要（中文）

强化学习（RL）在搜索代理中的应用常常面临证据伪造的问题，即代理绕过外部信息（$E_{ext}$）并生成错误答案。我们认为，这种伪造源于对不可靠内部知识（$E_{int}$）的过度依赖。为了解决这一问题，我们提出了SOAR（源意识强化学习），该方法将单一推理转变为源明确的推理轨迹。SOAR通过源意识工作流将$E_{ext}$和$E_{int}$解耦为可观察的平行流，并引入源一致奖励以指导策略演化。通过明确的信息源归属，SOAR实现了不同知识流之间的精确信用分配。评估结果表明，SOAR在3B和7B基线模型上分别提升了7.3%和5.4%的性能，同时减少了74.8%的证据伪造。这些结果证实了SOAR在知识密集型基准测试中的显著性能提升，同时有效缓解了证据伪造问题，促进了更真实和扎实的推理，增强了鲁棒性。

🔬 方法详解

问题定义：论文要解决的问题是搜索代理在强化学习中出现的证据伪造现象，现有方法过度依赖不可靠的内部知识，导致生成错误答案。

核心思路：SOAR的核心思路是将推理过程中的外部知识和内部知识进行解耦，使得信息源的归属更加明确，从而提高推理的准确性和可靠性。

技术框架：SOAR的整体架构包括源意识工作流和源一致奖励两个主要模块。源意识工作流负责将外部和内部知识流分开，而源一致奖励则用于指导策略的演化过程。

关键创新：SOAR的最重要创新在于明确的信息源归属机制，使得不同知识流之间的信用分配更加精确，这与现有方法的模糊性形成了鲜明对比。

关键设计：在技术细节上，SOAR设计了特定的损失函数以优化源一致奖励，并采用了适应性网络结构来处理不同来源的信息流。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，SOAR在3B和7B基线模型上分别提升了7.3%和5.4%的性能，同时有效减少了74.8%的证据伪造现象。这些数据证明了SOAR在知识密集型任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、自动问答系统和知识图谱构建等。通过提高搜索代理的推理准确性，SOAR能够在实际应用中提供更可靠的信息检索和决策支持，未来可能对人工智能的知识处理能力产生深远影响。

📄 摘要（原文）

Reinforcement learning (RL) for search agents often suffers from evidence fabrication, a failure mode where agents bypass external information ($E_{ext}$) and fabricate an incorrect answer. We argue that this fabrication arises from an over-reliance on unreliable internal knowledge ($E_{int}$) as shortcuts due to the inherent opacity of reasoning trajectories. To address this, we propose SOAR (SOurce-Aware Reinforcement learning), a paradigm that transforms monolithic reasoning into source-explicit trajectories. SOAR (i) disentangles $E_{ext}$ and $E_{int}$ into parallel, observable streams via a Source-Aware Workflow, and (ii) incorporates Source-Consistent Reward to guide the policy evolution. By making information-source attribution explicit, SOAR enables precise credit assignment between different knowledge streams. Evaluations show that SOAR outperforms baselines on 3B and 7B backbones by 7.3% and 5.4%, while reducing evidence fabrication by 74.8%. These confirm that SOAR significantly improves performance on knowledge-intensive benchmarks while effectively mitigating evidence fabrication, fostering more faithful and grounded reasoning with enhanced robustness.