Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents

📄 arXiv: 2609.11318v1 📥 PDF

作者: Minghao Guo, Meng Cao, Sui Zhao, Siyu Ning, Xin Wang, Haoze Zhao, Jiaxuan Yang, Haihong Hao, Mingfei Han, Shunlin Rong, Haijun Wu, Xiaodan Liang, Xiaojun Chang

分类: cs.AI

发布日期: 2026-09-10

备注: Code and data are available at https://github.com/minghaoguo20/Mr-LHDR-eval

💡 一句话要点

提出Mr.LHDR基准以评估长时段多模态深度研究代理的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时段研究 多模态证据 深度学习 推理能力 依赖关系 智能代理 信息检索

📋 核心要点

  1. 现有基准主要集中在中等时段的探索，缺乏对长时段、依赖性强的研究过程的评估。
  2. 提出Mr.LHDR基准，通过构建隐藏的节点-关系图，评估多模态证据在长时段研究中的作用。
  3. 实验结果显示，最强系统的整体准确率仅为43.1%，强调了持续、依赖一致的证据整合的重要性。

📝 摘要（中文）

深度研究代理在网络搜索、工具使用和多模态证据分析方面的能力日益增强。然而，现有基准主要评估中等时段的探索，鲜有测试代理在长时间、依赖性强的研究过程中的表现。为此，本文引入了Mr.LHDR（多模态真实世界长时段深度研究），该基准用于评估在八个类别中，基于隐藏的节点-关系图构建的问题，平均需要12.1个中间结论，依赖深度为10.4，才能得出唯一且可验证的答案。问题包含多模态证据，结果显示即使是最强的系统也仅达到43.1%的整体准确率，表明最终答案的准确性显著高估了完整研究的成功率。

🔬 方法详解

问题定义：本文旨在解决现有深度研究代理在长时段、依赖性强的研究过程中的评估不足，现有方法未能有效测试代理的持续研究能力。

核心思路：通过引入Mr.LHDR基准，构建复杂的节点-关系图，要求代理在多模态证据的支持下，进行长链条的推理和证据整合。

技术框架：整体架构包括问题构建、证据整合和推理过程，主要模块包括多模态证据处理、依赖关系标注和结果评估。

关键创新：最重要的创新在于引入了多模态证据和依赖关系的评估，强调了长时段推理的复杂性，与现有方法相比，提供了更全面的评估标准。

关键设计：在参数设置上，设计了多模态证据的整合机制，损失函数考虑了中间结论的正确性，网络结构支持长链条推理，确保了依赖关系的有效处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最强的系统，其整体准确率仅为43.1%，严格准确率为34.3%。去除图像证据后，依赖意识检查得分下降12.6点，表明多模态证据在推理过程中的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、虚拟助手和自动化信息检索系统等。通过提升深度研究代理在复杂任务中的表现，能够为用户提供更准确和全面的信息，未来可能在教育、科研和商业决策等领域产生深远影响。

📄 摘要（原文）

Deep research agents are increasingly capable of web search, tool use, multimodal evidence analysis, and information synthesis. However, existing benchmarks mainly evaluate medium-horizon exploration and rarely test whether agents can sustain long, dependency-heavy research processes. We introduce Mr.LHDR (Multimodal real-world Long-Horizon Deep Research), a benchmark for evaluating real-world deep research over long, irreducible chains of interdependent evidence across eight categories. Each question is constructed from a hidden Node-Relation graph and requires an average of 12.1 necessary intermediate conclusions with a mean dependency depth of 10.4 before reaching a short, unique, and verifiable answer. Questions incorporate multimodal evidence, including images, maps, PDFs, logos, charts, tables, and video frames, with at least one non-text element that changes the reasoning state. Mr.LHDR evaluates both final answers and the correctness of intermediate conclusions under annotated dependencies. We evaluate general models, deep research systems, and agent frameworks using Overall Accuracy (OA), Strict Accuracy (SA), Checklist Score (CS), and Dependency-Aware Checklist Score (DACS). Results show that even the strongest system achieves only 43.1% OA and 34.3% SA, indicating that final-answer accuracy substantially overestimates complete research success. Removing images reduces DACS by 12.6 points, demonstrating the importance of multimodal evidence, while SA consistently declines as reasoning chains become longer. These findings reveal sustained, dependency-consistent evidence integration, rather than isolated fact retrieval, as a key bottleneck for current deep research agents.