OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video

📄 arXiv: 2610.12419v1 📥 PDF

作者: Hongyu Li, Manyuan Zhang, Kaituo Feng, Shu Chen, Dian Zheng, Hao Li, Hao Yu, Zhangquan Chen, Zoey Guo, Ray Zhang, Shaofei Huang, Tianrui Hui, Linjiang Huang, Si Liu

分类: cs.CV

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出OneSearch-VL以解决多模态深度研究中的依赖性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态深度研究 视觉定位 证据图 数据构建 过程监督 性能评估 图像理解 视频分析

📋 核心要点

  1. 现有方法在处理单图像、多图像和视频时，难以有效保持视觉锚点与实体关系之间的依赖性，导致信息整合不足。
  2. 论文提出的OneSearch-VL通过引入视觉定位证据图（VGEG），将不同视觉操作的依赖关系编码为共享任务级参考，从而优化数据构建和过程监督。
  3. 实验结果显示，OneSearch-VL-8B在新基准上相较于Qwen3-VL-8B分别提高了20.2和17.6个百分点，并在多个图像和视频基准上表现出显著的性能提升。

📝 摘要（中文）

单图像、多图像和视频深度研究需要不同的视觉操作，但共享视觉定位、外部检索和事实组合的工作流程。一个关键挑战是保持局部视觉锚点、实体关系、源支持事实和答案生成操作之间的依赖关系。我们提出了OneSearch-VL，一个以视觉定位证据图（VGEG）为中心的统一代理，编码这些依赖关系作为数据构建、过程监督和操作级评估的共享任务级参考。我们的VGEG基础数据引擎构建和验证多图像和视频问题，并过滤专家轨迹。通过这些数据，我们组装了OneSearch-VL-SFT-110K和OneSearch-VL-RL-10K用于SFT和RL。我们进一步从VGEG注释中推导出证据感知视觉定位评分（EVGR），以监督RL中的证据可追溯性和视觉定位。实验表明，OneSearch-VL-8B在两个新基准上分别比Qwen3-VL-8B提高了20.2和17.6个百分点，同时在7个图像基准和VideoDR上也取得了显著提升。

🔬 方法详解

问题定义：本论文旨在解决在单图像、多图像和视频深度研究中，如何有效保持视觉锚点、实体关系和答案生成操作之间的依赖性的问题。现有方法在这一点上存在不足，导致信息整合和处理效率低下。

核心思路：论文的核心思路是引入视觉定位证据图（VGEG），将不同视觉操作的依赖关系进行编码，形成一个共享的任务级参考。这种设计旨在提升数据构建的准确性和过程监督的有效性。

技术框架：整体架构包括数据引擎、VGEG构建模块和评估模块。数据引擎负责构建和验证多图像和视频问题，VGEG模块则编码依赖关系，评估模块用于操作级的性能评估。

关键创新：最重要的技术创新点在于VGEG的引入，它不仅提供了一个统一的框架来处理多模态数据，还通过证据感知视觉定位评分（EVGR）来监督RL过程中的证据可追溯性和视觉定位。

关键设计：在设计中，采用了特定的损失函数来优化VGEG的构建，同时在网络结构上进行了调整，以适应多模态数据的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OneSearch-VL-8B在两个新基准上分别比Qwen3-VL-8B提高了20.2和17.6个百分点，同时在7个图像基准和VideoDR上也取得了显著的性能提升，展示了其在多模态深度研究中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、视频分析、图像理解等。通过优化多模态数据的处理，OneSearch-VL能够在实际场景中提升信息检索的准确性和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Single-image, multi-image, and video deep research require different visual operations but share a workflow of visual grounding, external retrieval, and fact composition. A key challenge is to preserve the dependencies linking localized visual anchors, entity relations, source-supported facts, and answer-producing operations. We introduce OneSearch-VL, a unified agent centered on the Visually Grounded Evidence Graph (VGEG), which encodes these dependencies as a shared task-level reference for data construction, process supervision, and operation-level evaluation. Our VGEG-based data engine constructs and verifies multi-image and video questions and filters expert trajectories. Using these data, we assemble OneSearch-VL-SFT-110K and OneSearch-VL-RL-10K for SFT and RL, respectively. We further derive the Evidence-aware Visual-Grounded Rubric reward (EVGR) from VGEG annotations to supervise evidence traceability and visual grounding during RL. For fine-grained evaluation, we construct OneSearch-MI-Bench and OneSearch-Video-Bench, organizing questions by the research operations encoded in their VGEGs. Experiments show that OneSearch-VL-8B improves over Qwen3-VL-8B with tool access by 20.2 and 17.6 percentage points on the two new benchmarks, respectively, while also achieving substantial gains across 7 image benchmarks and VideoDR. Project repository: https://github.com/appletea233/OneSearch-VL