ClueFlow: Learning Long-Horizon Search through Attributed Research-State Transitions

📄 arXiv: 2610.25980v1 📥 PDF

作者: Yicheng Wang, Wentao Tan, Yidan Huang, Yifei Liu, Qiong Cao

分类: cs.AI

发布日期: 2026-10-19

备注: 25 pages, 2 figures, 8 tables

💡 一句话要点

提出ClueFlow以解决长时间搜索中的状态转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间搜索 状态转移 归因机制 监督微调 强化学习 信息检索 智能助手

📋 核心要点

  1. 现有方法在长时间搜索中未能有效利用明确的状态变化来引导探索和进度信号，导致效率低下。
  2. ClueFlow通过构建源-状态-最终归因链，记录状态变化与浏览器动作，优化了长时间搜索的学习过程。
  3. 在实验中，ClueFlow在多个基准测试中表现出色，特别是在BrowseComp和BrowseComp-Plus上分别达到了60.0%和72.0%的准确率。

📝 摘要（中文）

长时间搜索要求智能体获取相关证据并将其整合到不断演变的研究状态中。现有方法在引导探索或分配进度信号时，未能充分基于明确的、可归因的状态变化。本文提出ClueFlow，通过归因的研究状态转移学习长时间搜索。ClueFlow构建了源-状态-最终归因链，连接证据获取的浏览器动作、证据和候选更新，以及由这些更新支持的最终答案。在搜索过程中，ClueFlow记录输入的状态变化和潜在支持的浏览器动作，并在执行后应用金标准条件的语义验证和源追踪。我们利用这种归因指导监督微调和强化学习，取得了显著的效果提升。

🔬 方法详解

问题定义：本文旨在解决长时间搜索中智能体如何有效获取和整合证据的问题。现有方法在状态变化的归因上存在不足，未能充分利用这些信息来指导搜索过程。

核心思路：ClueFlow的核心思路是通过构建源-状态-最终归因链，将证据获取与状态变化紧密结合，从而优化搜索策略和决策过程。这样的设计使得智能体能够更好地理解和利用历史信息。

技术框架：ClueFlow的整体架构包括状态记录、归因链构建、监督微调(SFT)和强化学习(PPO)两个阶段。在每个阶段，系统会根据归因信息选择需要监督的决策，并在强化学习中增强基于结果的优势。

关键创新：ClueFlow的主要创新在于引入了状态转移的归因机制，使得智能体能够在长时间搜索中实现高效的监督和有效的信用分配。这一机制与传统方法的根本区别在于其对状态变化的明确追踪和利用。

关键设计：在设计中，ClueFlow使用了金标准条件的语义验证和源追踪技术，以确保状态变化的准确性。此外，在SFT和PPO阶段，归因选择的决策监督和信用分配策略也进行了优化，以提升学习效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，ClueFlow在Qwen3.5-35B-A3B模型上实现了BrowseComp的60.0%和BrowseComp-Plus的72.0%准确率。在受控实验中，归因指导的SFT使用约30%的训练标记达到了与全回合精确上下文SFT相同的效果，而归因指导的PPO比仅基于结果的PPO提高了4.1个百分点，显示了显著的性能提升。

🎯 应用场景

ClueFlow的研究成果在信息检索、智能助手和自动化搜索等领域具有广泛的应用潜力。通过提高长时间搜索的效率和准确性，该方法可以帮助用户更快地找到所需信息，提升人机交互的体验。未来，ClueFlow的技术可以进一步扩展到复杂的决策支持系统中，推动智能体在动态环境中的表现。

📄 摘要（原文）

Long-horizon search requires agents to acquire relevant evidence and integrate it into an evolving research state. Existing methods maintain research states to guide exploration or assign turn-level progress signals, yet grounding these signals in explicit, attributable state changes remains underexplored. We introduce ClueFlow, which learns long-horizon search from attributed research-state transitions. ClueFlow constructs Source-State-Final attribution chains that connect evidence-acquiring browser actions, Evidence and Candidate updates, and the final answer supported by those updates. During search, ClueFlow records typed state changes and potentially supporting browser actions, then applies gold-conditioned semantic validation and source tracing after execution. We use this attribution to guide both supervised fine-tuning and reinforcement learning. During SFT, attribution selects which decisions receive supervision with their original interaction contexts. During Turn-PPO, the same attribution augments outcome-based turn advantages with credit assigned along the Source-State-Final chains. Transition-level validation also recovers useful supervision from gold-consistent state changes in trajectories with incorrect final answers. We evaluate ClueFlow across two Qwen backbones and four search benchmarks spanning live-web and fixed-corpus settings, observing consistent gains from SFT and further improvements from PPO. With Qwen3.5-35B-A3B, ClueFlow achieves 60.0% accuracy on BrowseComp and 72.0% on BrowseComp-Plus. In controlled BrowseComp-Plus experiments, attribution-guided SFT matches all-turn exact-context SFT using about 30% of the training tokens, while attribution-guided PPO outperforms outcome-only PPO by 4.1 pp. These results demonstrate that state-transition attribution enables efficient supervision and effective credit assignment for long-horizon search agents.