Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
作者: Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu, Yunhai Tong
分类: cs.CV, cs.CL
发布日期: 2026-10-22
🔗 代码/项目: GITHUB
💡 一句话要点
提出视频中心深度研究报告生成方法以解决现有基准不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频中心研究 深度学习 多模态证据 互动报告 基准评估
📋 核心要点
- 现有的研究基准未能有效评估以视频为中心的研究任务，导致深度研究代理的能力无法全面验证。
- 本文提出了一种新方法，通过视频和用户请求生成互动报告，整合多模态证据以支持研究问题的识别和验证。
- 在18种代理配置下，最佳系统得分为63.3分，表明当前代理在内容覆盖、因果分析和引用支持方面仍需改进。
📝 摘要（中文）
深度研究代理将开放网络证据合成长报告，但现有基准未评估以源视频为中心的研究。本文引入视频中心深度研究报告生成任务，代理在给定视频和用户请求的情况下，识别研究问题，检索外部多模态证据，并生成与相关视频时刻链接的互动报告。该任务具有直接的实用价值，帮助用户定位相关时刻、验证主张、重现演示过程，并从视频内容中做出明智决策。我们提出了基于技能的工作流程和OmniDR-Bench基准，并为评估提出了Omni Atomic Rubric Trees（Omni-ARTs），包含三个维度、23个共享方向和任务特定的原子二元标准。OmniDR-Bench包含19个真实世界子类别的50个中英文任务，涵盖6414个标准。
🔬 方法详解
问题定义：本文旨在解决现有基准未能评估视频中心研究的不足，导致深度研究代理在处理视频内容时的能力无法全面验证。
核心思路：论文提出了一种新颖的工作流程，代理在接收视频和用户请求后，能够识别研究问题并检索相关的多模态证据，从而生成互动报告。这样的设计旨在提升用户的决策能力和信息获取效率。
技术框架：整体架构包括视频输入、研究问题识别、证据检索和互动报告生成四个主要模块。每个模块通过特定算法和模型进行优化，以确保信息的准确性和相关性。
关键创新：最重要的技术创新在于引入了Omni Atomic Rubric Trees（Omni-ARTs），通过多维度评估标准对代理的表现进行全面评估，与现有方法相比，提供了更细致的评估框架。
关键设计：在设计中，采用了多模态证据检索算法，结合了自动化检查和人类审核的迭代过程，以确保评估标准的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在18种代理配置中，最佳系统得分为63.3分，表明该方法在多模态证据使用和互动展示方面具有显著提升。当前代理在内容覆盖和因果分析方面仍需进一步改进，展示了未来研究的方向。
🎯 应用场景
该研究的潜在应用领域包括教育、在线学习、视频内容分析和信息检索等。通过生成互动报告，用户能够更高效地从视频中提取信息，验证内容的真实性，并在决策过程中获得支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Deep research agents synthesize open-web evidence into long reports, but current benchmarks do not evaluate research centered on a source video. We introduce Video-Centered Deep Research Report Generation. Given a video and user request, an agent identifies research questions, retrieves external multimodal evidence, and produces an interactive report linked to relevant video moments. This task has direct practical value because it helps users locate relevant moments, verify claims, reproduce demonstrated procedures, and make informed decisions from video content. We present a skill-based workflow and OmniDR-Bench for this task. For evaluation, we propose Omni Atomic Rubric Trees (Omni-ARTs). Each tree contains three dimensions, 23 shared directions, and task-specific atomic binary criteria. The directions test audiovisual grounding, multimodal evidence use, and interactive presentation. Audited Rubric Construction (ARC) builds these trees through independent evidence collection, automated checks, behavioral calibration, and iterative human review. OmniDR-Bench contains 50 Chinese and English tasks across 19 realworld subcategories. It includes 6,414 criteria. Across 18 agent configurations, the best system scores 63.3 out of 100. Current agents still need broader content coverage, stronger causal and logical analysis across modalities, and more accurate citation support. We further analyze models, harnesses, skill configurations, video categories, and research trajectories. The code and data are released at https://github.com/marinero4972/OmniDR-Bench.