InSight-o3: Empowering Multimodal Foundation Models with Generalized Visual Search

📄 arXiv: 2512.18745v1 📥 PDF

作者: Kaican Li, Lewei Yao, Jiannan Wu, Tiezheng Yu, Jierun Chen, Haoli Bai, Lu Hou, Lanqing Hong, Wei Zhang, Nevin L. Zhang

分类: cs.CV, cs.CL, cs.LG

发布日期: 2025-12-21

🔗 代码/项目: GITHUB

💡 一句话要点

InSight-o3：通过广义视觉搜索增强多模态基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉搜索 强化学习 多模态基础模型 视觉语言模型

📋 核心要点

  1. 现有开放多模态agent在处理需要复杂推理的现实世界任务（如分析包含密集图表/示意图的文档和导航地图）时，推理能力不足。
  2. InSight-o3框架通过引入视觉搜索agent (vSearcher) 和广义视觉搜索任务，增强了多模态模型的视觉推理能力，使其能够定位和理解图像中更复杂的关系和概念。
  3. 实验表明，作为即插即用组件的vSearcher能够显著提升现有前沿多模态模型在多个基准测试上的性能，朝着更强大的开放系统迈进。

📝 摘要（中文）

为了提升AI agent的“图像思考”能力，本文提出了O3-Bench，一个新的基准，用于评估多模态推理中对视觉细节的交错关注。O3-Bench包含具有挑战性的问题，要求agent通过多步推理将来自不同图像区域的细微视觉信息拼凑起来。即使是像OpenAI o3这样的前沿系统，在O3-Bench上的准确率也仅为40.8%。为了解决这个问题，本文提出了InSight-o3，一个多agent框架，由视觉推理agent (vReasoner) 和视觉搜索agent (vSearcher) 组成。针对vSearcher，本文提出了广义视觉搜索任务，即定位自由形式语言描述的关系型、模糊或概念性区域，而不仅仅是自然图像中的简单对象或图形。此外，本文还提出了一个针对此任务进行强化学习的专用多模态LLM。作为一个即插即用的agent，vSearcher增强了前沿多模态模型（作为vReasoners），显著提高了它们在各种基准测试中的性能。这标志着朝着强大的类o3开放系统迈出了坚实的一步。

🔬 方法详解

问题定义：现有方法在处理需要复杂视觉推理的任务时，例如分析包含复杂图表的文档或理解地图，表现不佳。这些任务需要agent能够理解图像中不同区域之间的关系，而不仅仅是识别单个对象。现有的多模态模型在处理这种需要细粒度视觉信息和多步推理的任务时面临挑战。

核心思路：InSight-o3的核心思路是将视觉推理和视觉搜索解耦，分别由vReasoner和vSearcher两个agent负责。vSearcher负责在图像中定位与问题相关的区域，并将这些区域的信息提供给vReasoner进行推理。这种解耦使得模型能够更有效地利用视觉信息，并进行更复杂的推理。

技术框架：InSight-o3框架包含两个主要模块：vReasoner和vSearcher。vReasoner是一个现有的多模态模型，负责进行推理。vSearcher是一个专门用于视觉搜索的agent，它接收自由形式的语言描述，并在图像中定位相应的区域。vSearcher通过强化学习进行训练，以提高其搜索精度。整个流程是：首先，vSearcher根据问题描述在图像中搜索相关区域；然后，将搜索结果和原始图像一起输入到vReasoner中进行推理；最后，vReasoner输出答案。

关键创新：InSight-o3的关键创新在于提出了广义视觉搜索任务，并设计了相应的vSearcher agent。与传统的视觉搜索任务不同，广义视觉搜索不仅需要定位图像中的对象，还需要定位关系型、模糊或概念性的区域。例如，在地图中搜索“河流的源头”或在图表中搜索“增长最快的区域”。这种广义的视觉搜索能力使得模型能够更好地理解图像中的复杂信息。

关键设计：vSearcher使用多模态LLM，并针对广义视觉搜索任务进行了专门的强化学习训练。训练过程中，使用奖励函数来鼓励vSearcher定位到与问题相关的区域。具体的网络结构和参数设置在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InSight-o3在O3-Bench基准测试中取得了显著的性能提升。通过引入vSearcher，前沿多模态模型在O3-Bench上的准确率得到了显著提高。具体的提升幅度在论文中未明确给出，属于未知信息。此外，InSight-o3作为一个即插即用的agent，可以方便地集成到现有的多模态模型中，具有很强的实用性。

🎯 应用场景

InSight-o3具有广泛的应用前景，例如可以应用于文档分析、地图导航、医学图像诊断等领域。通过增强多模态模型的视觉推理能力，可以使其更好地理解图像中的复杂信息，从而提高其在各种现实世界任务中的性能。未来，该研究可以进一步扩展到其他领域，例如机器人导航和智能助手。

📄 摘要（原文）

The ability for AI agents to "think with images" requires a sophisticated blend of reasoning and perception. However, current open multimodal agents still largely fall short on the reasoning aspect crucial for real-world tasks like analyzing documents with dense charts/diagrams and navigating maps. To address this gap, we introduce O3-Bench, a new benchmark designed to evaluate multimodal reasoning with interleaved attention to visual details. O3-Bench features challenging problems that require agents to piece together subtle visual information from distinct image areas through multi-step reasoning. The problems are highly challenging even for frontier systems like OpenAI o3, which only obtains 40.8% accuracy on O3-Bench. To make progress, we propose InSight-o3, a multi-agent framework consisting of a visual reasoning agent (vReasoner) and a visual search agent (vSearcher) for which we introduce the task of generalized visual search -- locating relational, fuzzy, or conceptual regions described in free-form language, beyond just simple objects or figures in natural images. We then present a multimodal LLM purpose-trained for this task via reinforcement learning. As a plug-and-play agent, our vSearcher empowers frontier multimodal models (as vReasoners), significantly improving their performance on a wide range of benchmarks. This marks a concrete step towards powerful o3-like open systems. Our code and dataset can be found at https://github.com/m-Just/InSight-o3 .