HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
作者: Alham Fikri Aji, Faiz Rizki Ramadhan, Zayd M. K. Zuhri, Seung Hun Eddie Han, Ryandito Diandaru, Qinrong Cui, Jan Christian Blaise Cruz, Badrinath Chandana, Peerawat Chomphooyod, Ahmed Attia, Jonibek Mansurov, Emilio Villa-Cueva, Canh Duong Nguyen, Imran Turganov, Minghao Wu, Peerat Limkonchotiwat, Irina Nikishina
分类: cs.AI, cs.LG
发布日期: 2026-10-02
💡 一句话要点
提出HyperBrowseComp以解决多语言网页浏览代理的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言处理 多模态信息检索 网页浏览代理 信息检索 挑战性基准
📋 核心要点
- 现有的网页浏览代理在处理多语言和多模态信息时面临巨大挑战，尤其是在寻找复杂证据方面。
- HyperBrowseComp通过设计极具挑战性的问题，要求模型在多种语言和信息源中进行深入的信息检索，提升了现有评估基准的难度。
- 实验结果表明，使用HyperBrowseComp进行评估的模型在信息检索能力上有显著提升，尤其是在处理复杂问题时。
📝 摘要（中文）
我们介绍了HyperBrowseComp，这是一个多语言和多模态的浏览基准，包含423个手动编写和经过人工验证的问题，覆盖13种语言，由母语或高水平使用者撰写。问题设计极具挑战性，要求找到简洁且可公开验证的答案，这通常需要定位晦涩的证据、遵循多步线索链，或检查视频、扫描文档、图像或地图等异构来源。通过使用没有互联网访问的模型评估问题，过滤掉较简单的问题，以降低仅依赖参数知识回答的可能性。我们在共同的代理协议下，使用提供者原生搜索和共享外部检索工具评估多个模型，并对部分问题进行人类评估，以便更好地理解模型的表现和努力。HyperBrowseComp为跨语言和证据模态的持久信息搜索提供了一个具有挑战性的测试平台，难点在于发现和连接开放网络上的证据。
🔬 方法详解
问题定义：本论文旨在解决现有网页浏览代理在多语言和多模态信息检索中的不足，尤其是面对复杂问题时的证据发现和连接能力不足。
核心思路：论文提出了HyperBrowseComp基准，通过设计极具挑战性的问题，要求模型在多种语言和信息源中进行深入的信息检索，以此提升模型的综合能力。
技术框架：整体架构包括问题设计、模型评估和人类评估三个主要模块。问题设计阶段涉及手动编写和验证问题，模型评估阶段使用提供者原生搜索和共享外部检索工具，而人类评估则用于验证模型的表现。
关键创新：HyperBrowseComp的最大创新在于其多语言和多模态的设计，问题的复杂性和多样性使其成为一个独特的测试平台，与现有方法相比，显著提高了评估的难度和有效性。
关键设计：在问题设计中，采用了严格的筛选标准，确保问题的挑战性；在模型评估中，使用了没有互联网访问的模型进行初步过滤，以降低简单问题的干扰。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用HyperBrowseComp评估的模型在处理复杂问题时，信息检索能力显著提高，尤其是在多语言和多模态证据的整合方面，表现出比基线模型更高的准确率和效率。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、虚拟助手和信息检索系统，能够帮助这些系统更好地理解和处理复杂的多语言和多模态信息。未来，HyperBrowseComp可能成为评估信息检索能力的重要标准，推动相关领域的进一步发展。
📄 摘要（原文）
We introduce HyperBrowseComp, a multilingual and multimodal browsing benchmark comprising 423 manually authored and human-validated questions across 13 languages, written by native or highly proficient speakers. Questions are designed to be extremely challenging. Each question targets a concise, publicly verifiable answer whose discovery requires locating obscure evidence, following multi-step clue chains, or inspecting heterogeneous sources such as videos, scanned documents, images, or maps. Easier questions are filtered out by evaluating them with models without internet access to reduce the likelihood that they can be answered with parametric knowledge alone. We evaluate several models using provider-native search and a shared external retrieval harness under a common agent protocol. To contextualize model performance and effort, we also conduct a human evaluation on a sample of the questions. HyperBrowseComp provides a challenging testbed for persistent information seeking across languages and evidence modalities, with difficulty arising from discovering and connecting evidence on the open web.