InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation
作者: Yunjia Xi, Jianghao Lin, Menghui Zhu, Yongzhao Xiao, Zhuoying Ou, Jiaqi Liu, Tong Wan, Bo Chen, Weiwen Liu, Yasheng Wang, Ruiming Tang, Weinan Zhang, Yong Yu
分类: cs.IR, cs.CL
发布日期: 2025-05-21 (更新: 2025-05-23)
💡 一句话要点
InfoDeepSeek：提出Agentic RAG评测基准，评估真实动态网络环境下的智能信息检索能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Agentic RAG 信息检索 评测基准 大型语言模型 动态网络环境
📋 核心要点
- 现有RAG评测基准无法有效评估Agentic RAG在真实动态网络环境下的信息检索能力，主要受限于静态语料库和简单查询。
- InfoDeepSeek旨在构建更具挑战性的评测基准，通过设计满足确定性、难度和多样性标准的复杂查询，模拟真实网络环境。
- 该研究提出了一个针对动态智能信息检索的评估框架，包含准确性、效用性和紧凑性等细粒度指标，并进行了广泛实验。
📝 摘要（中文）
检索增强生成(RAG)通过检索到的信息来增强大型语言模型(LLM)的响应。作为一种新兴范式，Agentic RAG通过引入自主LLM代理到信息检索过程中，进一步增强了这一过程。然而，现有的基准测试在评估此类系统方面存在不足，因为它们仅限于具有固定、有限语料库的静态检索环境，以及无法引发代理行为的简单查询。此外，它们的评估协议通过预定义的文档黄金集合来评估信息检索的有效性，这使得它们不适合真实世界网络环境的开放性和动态性。为了弥合这一差距，我们提出了InfoDeepSeek，这是一个新的基准，包含具有挑战性的问题，旨在评估真实、动态网络环境中的智能信息检索。我们提出了一种系统的构建具有挑战性查询的方法，满足确定性、难度和多样性的标准。基于此，我们开发了第一个针对动态智能信息检索的评估框架，包括关于信息检索结果的准确性、效用性和紧凑性的细粒度指标。通过跨LLM、搜索引擎和问题类型的广泛实验，InfoDeepSeek揭示了细微的代理行为，并为未来的研究提供了可操作的见解。
🔬 方法详解
问题定义：现有RAG评测基准主要存在以下痛点：一是依赖静态、有限的语料库，无法模拟真实网络环境的动态性；二是查询过于简单，无法有效激发Agentic RAG的智能代理行为；三是评估方式依赖预定义的黄金文档集合，不适用于开放域的信息检索任务。因此，需要一个更贴近真实场景、更具挑战性的评测基准来评估Agentic RAG的性能。
核心思路：InfoDeepSeek的核心思路是构建一个更具挑战性的评测基准，通过设计复杂、多样化的查询，模拟真实网络环境的信息检索任务。同时，提出一套细粒度的评估指标，从准确性、效用性和紧凑性等多个维度评估Agentic RAG的性能。这样可以更全面、客观地评估Agentic RAG在真实场景下的表现。
技术框架：InfoDeepSeek的整体框架主要包含以下几个阶段：1) 查询构建：设计满足确定性、难度和多样性标准的复杂查询；2) 信息检索：使用Agentic RAG系统进行信息检索，获取相关文档；3) 结果评估：使用提出的评估指标，评估检索结果的准确性、效用性和紧凑性。该框架可以灵活地集成不同的LLM、搜索引擎和Agentic RAG系统。
关键创新：InfoDeepSeek最重要的创新点在于：1) 提出了一个更贴近真实场景、更具挑战性的评测基准，可以有效评估Agentic RAG在动态网络环境下的信息检索能力；2) 提出了一个细粒度的评估框架，从多个维度评估检索结果的质量，避免了传统评估方法的局限性；3) 系统性的查询构建方法，保证了benchmark的多样性和难度。
关键设计：在查询构建方面，论文设计了满足确定性、难度和多样性标准的查询。确定性是指查询应该有明确的答案；难度是指查询需要一定的推理和信息整合能力才能回答；多样性是指查询应该覆盖不同的主题和领域。在评估指标方面，论文提出了准确性、效用性和紧凑性等指标。准确性是指检索到的信息是否正确；效用性是指检索到的信息是否有助于回答问题；紧凑性是指检索到的信息是否冗余。
🖼️ 关键图片
📊 实验亮点
InfoDeepSeek通过实验揭示了不同LLM、搜索引擎和问题类型下的Agentic RAG行为差异。实验结果表明，不同LLM在处理复杂查询时表现出不同的优势和劣势。此外，不同的搜索引擎对检索结果的质量和多样性也有显著影响。InfoDeepSeek的实验结果为Agentic RAG系统的优化提供了重要的参考依据。
🎯 应用场景
InfoDeepSeek可用于评估和改进Agentic RAG系统在各种实际应用中的性能，例如智能客服、知识库问答、研究助手等。通过使用InfoDeepSeek进行评测，可以更好地了解Agentic RAG系统的优势和不足，从而指导系统的优化和改进，提升其在真实场景下的应用效果。该基准的提出，有助于推动Agentic RAG技术的发展和应用。
📄 摘要（原文）
Retrieval-Augmented Generation (RAG) enhances large language models (LLMs) by grounding responses with retrieved information. As an emerging paradigm, Agentic RAG further enhances this process by introducing autonomous LLM agents into the information seeking process. However, existing benchmarks fall short in evaluating such systems, as they are confined to a static retrieval environment with a fixed, limited corpus} and simple queries that fail to elicit agentic behavior. Moreover, their evaluation protocols assess information seeking effectiveness by pre-defined gold sets of documents, making them unsuitable for the open-ended and dynamic nature of real-world web environments. To bridge this gap, we present InfoDeepSeek, a new benchmark with challenging questions designed for assessing agentic information seeking in real-world, dynamic web environments. We propose a systematic methodology for constructing challenging queries satisfying the criteria of determinacy, difficulty, and diversity. Based on this, we develop the first evaluation framework tailored to dynamic agentic information seeking, including fine-grained metrics about the accuracy, utility, and compactness of information seeking outcomes. Through extensive experiments across LLMs, search engines, and question types, InfoDeepSeek reveals nuanced agent behaviors and offers actionable insights for future research.