Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

📄 arXiv: 2601.22060v1 📥 PDF

作者: Wenxuan Huang, Yu Zeng, Qiuchen Wang, Zhen Fang, Shaosheng Cao, Zheng Chu, Qingyu Yin, Shuang Chen, Zhenfei Yin, Lin Chen, Zehui Chen, Yao Hu, Philip Torr, Feng Zhao, Wanli Ouyang

分类: cs.CV, cs.AI

发布日期: 2026-01-29

🔗 代码/项目: GITHUB

💡 一句话要点

Vision-DeepResearch：通过多轮多实体多尺度搜索，提升多模态大语言模型在复杂视觉任务中的表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 深度研究 视觉搜索 文本搜索 强化学习 多轮推理 知识增强

📋 核心要点

  1. 现有MLLM受限于内部知识，依赖简单搜索增强，难以应对真实场景中的视觉噪声和复杂推理需求。
  2. Vision-DeepResearch提出多轮、多实体、多尺度的视觉和文本搜索范式，提升模型在噪声环境下的鲁棒性。
  3. 通过冷启动监督和强化学习，将深度研究能力内化到MLLM中，显著优于现有方法和基于闭源模型的方案。

📝 摘要（中文）

多模态大语言模型(MLLM)在各种视觉任务中取得了显著成功。然而，由于其内部世界知识的限制，先前的工作提出了通过“推理-工具调用”来增强MLLM，利用视觉和文本搜索引擎来获得需要大量事实信息的任务的显著收益。然而，这些方法通常在简单的设置中定义多模态搜索，假设单个完整级别或实体级别的图像查询和少量文本查询足以检索回答问题所需的关键证据，这在具有大量视觉噪声的真实场景中是不现实的。此外，它们通常在推理深度和搜索广度方面受到限制，使得解决需要聚合来自不同视觉和文本来源的证据的复杂问题变得困难。基于此，我们提出了Vision-DeepResearch，它提出了一种新的多模态深度研究范式，即执行多轮、多实体和多尺度的视觉和文本搜索，以在严重噪声下稳健地命中真实世界的搜索引擎。我们的Vision-DeepResearch支持数十个推理步骤和数百个引擎交互，同时通过冷启动监督和强化学习训练将深度研究能力内化到MLLM中，从而产生强大的端到端多模态深度研究MLLM。它大大优于现有的多模态深度研究MLLM，以及建立在强大的闭源基础模型（如GPT-5、Gemini-2.5-pro和Claude-4-Sonnet）之上的工作流程。代码将在https://github.com/Osilly/Vision-DeepResearch发布。

🔬 方法详解

问题定义：现有方法在多模态搜索中存在局限性，主要体现在两个方面：一是假设可以通过单轮、简单的图像或文本查询就能获取关键信息，这在真实场景中是不成立的，因为真实场景往往存在大量的视觉噪声；二是推理深度和搜索广度有限，难以解决需要聚合来自多个视觉和文本来源信息的复杂问题。因此，需要一种更鲁棒、更深入的多模态搜索方法来提升MLLM在复杂视觉任务中的表现。

核心思路：Vision-DeepResearch的核心思路是模拟人类研究人员在解决复杂问题时的深度探索过程，通过多轮、多实体、多尺度的视觉和文本搜索，逐步挖掘和整合相关信息。这种方法能够有效应对真实场景中的视觉噪声，并支持更深层次的推理和更广泛的信息聚合。通过将深度研究能力内化到MLLM中，使其能够自主地进行探索和学习，从而提升其在复杂视觉任务中的表现。

技术框架：Vision-DeepResearch的技术框架主要包括以下几个模块：1) 多模态查询生成模块：负责根据当前的问题和已有的信息，生成多轮、多实体、多尺度的视觉和文本查询；2) 搜索引擎交互模块：负责与外部的视觉和文本搜索引擎进行交互，获取相关的信息；3) 信息整合模块：负责将从不同来源获取的信息进行整合，提取关键的证据；4) 推理模块：负责根据整合后的信息进行推理，生成最终的答案。整个流程是一个迭代的过程，通过不断地查询、搜索、整合和推理，逐步逼近最终的答案。

关键创新：Vision-DeepResearch最重要的技术创新点在于其提出的多模态深度研究范式，即通过多轮、多实体、多尺度的视觉和文本搜索来解决复杂视觉任务。与现有方法相比，该方法能够更有效地应对真实场景中的视觉噪声，并支持更深层次的推理和更广泛的信息聚合。此外，通过冷启动监督和强化学习，将深度研究能力内化到MLLM中，使其能够自主地进行探索和学习，这也是一个重要的创新点。

关键设计：在Vision-DeepResearch中，一些关键的设计包括：1) 多尺度视觉搜索：通过不同尺度的图像查询，可以获取不同层次的视觉信息，从而更全面地理解场景；2) 多实体搜索：通过识别和搜索不同的实体，可以获取更丰富的信息，从而更好地理解问题；3) 冷启动监督：通过人工标注的数据，对模型进行初步的训练，使其具备一定的深度研究能力；4) 强化学习：通过奖励机制，鼓励模型进行更深入的探索和学习，从而不断提升其深度研究能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Vision-DeepResearch在多个复杂视觉任务上取得了显著的性能提升，大幅超越了现有的多模态深度研究MLLM，以及基于GPT-5、Gemini-2.5-pro和Claude-4-Sonnet等闭源模型的方案。具体的性能数据将在论文的实验部分详细展示，但总体而言，该方法在准确率、召回率和效率等方面都取得了显著的提升。

🎯 应用场景

Vision-DeepResearch具有广泛的应用前景，例如智能问答、视觉内容理解、机器人导航等。它可以应用于需要大量外部知识和复杂推理的场景，例如医疗诊断、金融分析、法律咨询等。该研究的实际价值在于提升了MLLM在复杂视觉任务中的表现，使其能够更好地服务于人类。未来，该研究可以进一步扩展到更多的领域，例如自动驾驶、智能制造等。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved remarkable success across a broad range of vision tasks. However, constrained by the capacity of their internal world knowledge, prior work has proposed augmenting MLLMs by ``reasoning-then-tool-call'' for visual and textual search engines to obtain substantial gains on tasks requiring extensive factual information. However, these approaches typically define multimodal search in a naive setting, assuming that a single full-level or entity-level image query and few text query suffices to retrieve the key evidence needed to answer the question, which is unrealistic in real-world scenarios with substantial visual noise. Moreover, they are often limited in the reasoning depth and search breadth, making it difficult to solve complex questions that require aggregating evidence from diverse visual and textual sources. Building on this, we propose Vision-DeepResearch, which proposes one new multimodal deep-research paradigm, i.e., performs multi-turn, multi-entity and multi-scale visual and textual search to robustly hit real-world search engines under heavy noise. Our Vision-DeepResearch supports dozens of reasoning steps and hundreds of engine interactions, while internalizing deep-research capabilities into the MLLM via cold-start supervision and RL training, resulting in a strong end-to-end multimodal deep-research MLLM. It substantially outperforming existing multimodal deep-research MLLMs, and workflows built on strong closed-source foundation model such as GPT-5, Gemini-2.5-pro and Claude-4-Sonnet. The code will be released in https://github.com/Osilly/Vision-DeepResearch.