F$^{2}$DR: A Fine-Grained Full-Pipeline Reward Framework for DeepSearch Workflows

📄 arXiv: 2609.19827v1 📥 PDF

作者: Bojian Xiong, Wentao Ding, Yujing Lu, Shaowei Zhang, Ling Shi, Jing Liao, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi, Jingzhou He, Yuqi Ren, Deyi Xiong

分类: cs.CL

发布日期: 2026-09-17

💡 一句话要点

提出F2DR框架以解决DeepSearch工作流评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: DeepSearch 奖励模型 评估框架 信息检索 多轮交互 大型语言模型 数据集

📋 核心要点

  1. 现有的奖励模型和评估基准主要针对静态单轮任务，无法有效评估DeepSearch工作流的复杂性。
  2. 提出F2DR框架，从内容、轨迹和答案三个维度对DeepSearch工作流进行细粒度评估，提升评估的全面性。
  3. 实验结果显示，F2DR在评估一致性上显著高于自评估基线，DeepSearch RM-Bench在现有开源模型中表现出强大的区分能力。

📝 摘要（中文）

随着大型语言模型（LLMs）的广泛应用，DeepSearch已成为解决复杂用户查询的主要范式。然而，现有的奖励模型和评估基准主要针对静态单轮任务，无法捕捉DeepSearch工作流的全流程复杂性。为了解决这一局限性，本文提出了F2DR，一个细粒度的全流程DeepSearch奖励框架。F2DR从内容、轨迹和答案三个维度评估DeepSearch工作流，提供全面的过程级评估。此外，构建了DeepSearch RM-Bench，一个专门用于评估DeepSearch场景中奖励模型的基准。实验表明，F2DR在评估一致性上显著优于基于自评估的基线，而DeepSearch RM-Bench在现有开源奖励模型中展现出强大的区分能力。我们将很快公开完整的DeepSearch RM-Bench数据集。

🔬 方法详解

问题定义：本文旨在解决现有奖励模型无法有效评估DeepSearch工作流的复杂性问题，现有方法在多轮交互和动态信息检索场景下表现不足。

核心思路：F2DR框架通过细化评估维度，综合考虑内容、轨迹和答案，提供全面的过程级评估，旨在提升评估的准确性和一致性。

技术框架：F2DR的整体架构包括三个主要模块：内容评估模块、轨迹评估模块和答案评估模块。每个模块独立评估相应维度，并最终综合得出整体评分。

关键创新：F2DR的创新点在于其细粒度的评估框架，能够捕捉DeepSearch工作流中的动态变化，与传统静态评估方法形成鲜明对比。

关键设计：在设计中，F2DR采用了多层次的评估指标，结合了深度学习技术，确保各个模块的评估结果能够有效整合，提升整体评估的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，F2DR在评估一致性上显著优于自评估基线，具体提升幅度达到XX%（具体数据待补充）。同时，DeepSearch RM-Bench在现有开源奖励模型中展现出强大的区分能力，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、信息检索和问答系统等，能够为复杂用户查询提供更精准的评估和反馈。随着DeepSearch技术的不断发展，F2DR框架将为相关领域的研究和应用提供重要的理论基础和实践指导。

📄 摘要（原文）

With the widespread industrial deployment of Large Language Models (LLMs), DeepSearch has emerged as the dominant paradigm for resolving complex user queries. It typically operates through an iterative closed-loop workflow consisting of planning and reflection, information retrieval, and answer generation. However, existing reward models (RMs) and evaluation benchmarks are primarily designed for static single-turn tasks, failing to capture the full-pipeline complexity of DeepSearch workflows. To address this limitation, we propose F2DR, a fine-grained full-pipeline DeepSearch reward framework. F2DR evaluates DeepSearch workflows across three dimensions: Content, Trajectory, and Answer, enabling comprehensive process-level assessment. We further construct DeepSearch RM-Bench, a dedicated benchmark for evaluating RMs in DeepSearch scenarios. Extensive experiments demonstrate that F2DR achieves significantly higher evaluation consistency than self-evaluation-based baselines, while DeepSearch RM-Bench exhibits strong discriminative capability across existing open-source RMs. We will publicly release the complete DeepSearch RM-Bench dataset soon.