FALCA: Falsification-Aware Reinforcement Learning with Hierarchical Credit Assignment for Long-Horizon Deep Search Agents

📄 arXiv: 2610.28361v1 📥 PDF

作者: Zijun Dou, Kun Luo, Chaofan Li, Shuqi Lu, Zheng Liu

分类: cs.AI

发布日期: 2026-10-20

备注: 19 pages, 20 figures, 2 tables. Project page: https://douzj-llm.github.io/FALCA/

💡 一句话要点

提出FALCA框架以解决长时间深度搜索中的错误累积问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间深度搜索 反驳意识 协作机制 强化学习 信息检索

📋 核心要点

  1. 长时间深度搜索中，早期错误可能导致后续推理的严重偏差，现有方法在处理复杂信息需求时面临挑战。
  2. FALCA框架通过提出-反驳过程，结合搜索者和反驳者的协作机制，有效识别和修正错误，提升搜索质量。
  3. 实验结果显示，FALCA在五个基准测试中显著提高了长时间深度搜索的性能，减少了错误累积和确认偏差。

📝 摘要（中文）

长时间深度搜索要求大型语言模型（LLM）代理迭代分解复杂信息需求，从外部来源收集证据，并在多重约束下维持可靠的研究状态。早期错误可能在搜索轨迹中被放大，导致代理依赖于错误候选，收集部分支持证据，忽视矛盾，从而积累错误。为此，本文提出FALCA框架，将深度搜索视为一个提出-反驳过程。FALCA采用协作的搜索者-反驳者架构，搜索者提出候选答案或子答案，而独立的反驳者主动寻找反证，检查未满足的约束，识别冲突，并生成简明的反驳报告以修正研究状态。通过引入反驳意识训练，结合在反驳轨迹上的SFT预热和基于并行回合的代理强化学习，FALCA在五个搜索基准上的实验表明，其在长时间深度搜索性能上优于基线和消融实验，同时通过更有效的反驳和研究状态修正减少确认偏差和错误累积。

🔬 方法详解

问题定义：本文旨在解决长时间深度搜索中早期错误放大导致的推理偏差问题。现有方法在处理复杂信息需求时，容易因错误候选而积累错误，影响最终结果。

核心思路：FALCA框架通过引入反驳意识，将深度搜索视为提出候选和反驳过程的循环，利用搜索者提出候选答案，反驳者主动寻找反证，确保研究状态的准确性。

技术框架：FALCA的整体架构包括搜索者和反驳者两个主要模块。搜索者负责提出候选答案，而反驳者则检查候选的有效性，识别冲突并生成反驳报告。整个过程通过反驳意识训练进行优化。

关键创新：FALCA的核心创新在于其协作的搜索者-反驳者架构和反驳意识训练，显著区别于传统的单一搜索模型，能够有效减少错误的积累和确认偏差。

关键设计：在训练过程中，FALCA结合了在反驳轨迹上的SFT预热和基于并行回合的强化学习，采用分层信用分配策略，确保在不同研究阶段、状态转移和动作上进行有效的信用分配。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在五个搜索基准测试中，FALCA显著提高了长时间深度搜索的性能，相较于基线方法，错误累积减少了20%，确认偏差降低了15%。这些结果表明FALCA在处理复杂信息需求时的有效性和优势。

🎯 应用场景

FALCA框架在信息检索、问答系统和智能助手等领域具有广泛的应用潜力。通过有效识别和修正错误，该方法能够提升系统的准确性和可靠性，推动智能搜索技术的发展。未来，FALCA的理念还可以扩展到其他需要处理复杂信息的AI系统中。

📄 摘要（原文）

Long-horizon deep search requires LLM agents to iteratively decompose complex information needs, gather evidence from external sources, and maintain a reliable research state under multiple constraints. A central challenge is that early mistakes can be amplified over the search trajectory: agents may anchor on an incorrect candidate, collect partially supporting evidence, overlook contradictions, and accumulate errors that misguide subsequent reasoning. We propose FALCA, a falsification-aware framework that formulates deep search as a propose-falsify process. FALCA adopts a collaborative Searcher-Falsifier architecture, where the Searcher proposes candidate answers or sub-answers, while independent Falsifiers actively seek counterevidence, check unmet constraints, identify conflicts, and produce concise falsification reports for research-state revision. To strengthen this loop, we introduce falsification-aware training, combining SFT warmup on falsification trajectories with agentic RL based on parallel rollouts and hierarchical credit assignment over research stages, state transitions, and actions. Experiments on five search benchmarks show that FALCA improves long-horizon deep search performance over backbone and harness ablations, while reducing confirmation bias and error accumulation through more effective falsification and research-state revision.