InfoSeeker: A Scalable Hierarchical Parallel Agent Framework for Web Information Seeking
作者: Ka Yiu Lee, Yuxuan Huang, Zhiyuan He, Huichi Zhou, Weilin Luo, Kun Shao, Meng Fang, Jun Wang
分类: cs.AI
发布日期: 2026-04-06
💡 一句话要点
提出InfoSeeker,解决Web信息搜寻中大规模异构数据聚合的挑战。
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: Web信息搜寻 分层代理框架 并行计算 大规模信息聚合 上下文隔离
📋 核心要点
- 现有Agentic搜索系统在处理大规模异构信息时,面临上下文饱和、误差传播和高延迟等问题。
- InfoSeeker采用分层并行架构,通过Host、Manager和Worker协同,实现高效的信息聚合和推理。
- 实验结果表明,InfoSeeker在速度上提升3-5倍,并在两个基准测试中显著提高了成功率和准确率。
📝 摘要(中文)
本文提出InfoSeeker,一个可扩展的分层并行代理框架,用于Web信息搜寻。现有代理搜索系统侧重于深度多步推理,但忽略了大规模信息综合的挑战,即代理需要聚合来自多个来源的大量异构证据。这导致现有大语言模型代理系统在数据密集型环境中面临上下文饱和、级联误差传播和高端到端延迟等严重限制。InfoSeeker基于近可分解性原则,包含一个战略Host、多个Managers和并行Workers。通过在Manager层利用聚合和反射机制,该框架强制执行严格的上下文隔离,以防止饱和和误差传播。同时,Worker层的并行性加速了整体任务执行速度,缓解了显著的延迟。在两个互补的基准测试上的评估表明,InfoSeeker兼具效率(3-5倍加速)和有效性,在WideSearch-en上实现了8.4%的成功率,在BrowseComp-zh上实现了52.9%的准确率。
🔬 方法详解
问题定义:现有的大语言模型代理系统在处理Web信息搜寻任务时,尤其是在需要聚合大量异构信息时,面临着三大痛点:一是上下文长度限制导致的上下文饱和,二是错误信息在多步推理中不断累积导致的级联误差传播,三是端到端延迟过高,影响用户体验。这些问题限制了现有系统在数据密集型场景下的应用。
核心思路:InfoSeeker的核心思路是采用分层架构,将复杂的Web信息搜寻任务分解为多个子任务,并分配给不同的代理进行并行处理。通过在不同层级引入聚合和反射机制,实现上下文隔离和错误抑制,从而提高系统的效率和准确性。这种分而治之的策略借鉴了近可分解性原则,旨在降低任务的复杂度。
技术框架:InfoSeeker框架包含三个主要层级:Host、Manager和Worker。Host是战略层,负责任务分解和全局调度;Manager是聚合层,负责管理多个Worker,并对Worker的结果进行聚合和反思;Worker是执行层,负责并行地从Web上搜寻和提取信息。整个流程如下:Host接收用户查询,将其分解为多个子查询,并将子查询分配给不同的Manager。每个Manager管理多个Worker,Worker并行地执行Web搜索和信息提取任务。Manager对Worker的结果进行聚合和反思,并将最终结果返回给Host。Host将所有Manager的结果整合后返回给用户。
关键创新:InfoSeeker的关键创新在于其分层并行架构和聚合反射机制。分层架构实现了任务的解耦和并行处理,提高了系统的可扩展性和效率。聚合反射机制通过在Manager层对Worker的结果进行过滤和修正,有效地抑制了错误传播,提高了系统的准确性。此外,框架的设计也考虑了上下文隔离,避免了上下文饱和问题。
关键设计:InfoSeeker在Manager层使用了基于LLM的聚合和反射模块。聚合模块负责将多个Worker返回的结果进行整合,提取关键信息。反射模块负责评估聚合结果的质量,并根据评估结果调整Worker的搜索策略。具体实现中,可以使用不同的LLM模型作为聚合和反射模块的核心。此外,Worker层的并行度可以根据任务的复杂度和计算资源进行调整。框架还支持自定义Worker,以适应不同的Web信息源和数据格式。
🖼️ 关键图片
📊 实验亮点
InfoSeeker在WideSearch-en和BrowseComp-zh两个基准测试上进行了评估。实验结果表明,InfoSeeker相比现有方法,在速度上提升了3-5倍,同时在WideSearch-en上实现了8.4%的成功率,在BrowseComp-zh上实现了52.9%的准确率。这些结果验证了InfoSeeker在效率和有效性方面的优势。
🎯 应用场景
InfoSeeker可应用于多种需要大规模信息搜寻和聚合的场景,例如金融分析、市场调研、舆情监控、科学研究等。该框架能够帮助用户快速准确地获取所需信息,提高决策效率。未来,InfoSeeker可以进一步扩展到其他领域,例如知识图谱构建、智能问答系统等。
📄 摘要(原文)
Recent agentic search systems have made substantial progress by emphasising deep, multi-step reasoning. However, this focus often overlooks the challenges of wide-scale information synthesis, where agents must aggregate large volumes of heterogeneous evidence across many sources. As a result, most existing large language model agent systems face severe limitations in data-intensive settings, including context saturation, cascading error propagation, and high end-to-end latency. To address these challenges, we present \framework, a hierarchical framework based on principle of near-decomposability, containing a strategic \textit{Host}, multiple \textit{Managers} and parallel \textit{Workers}. By leveraging aggregation and reflection mechanisms at the Manager layer, our framework enforces strict context isolation to prevent saturation and error propagation. Simultaneously, the parallelism in worker layer accelerates the speed of overall task execution, mitigating the significant latency. Our evaluation on two complementary benchmarks demonstrates both efficiency ($ 3-5 \times$ speed-up) and effectiveness, achieving a $8.4\%$ success rate on WideSearch-en and $52.9\%$ accuracy on BrowseComp-zh. The code is released atthis https URL