OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

📄 arXiv: 2610.26860v1 📥 PDF

作者: Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, Mingyang Zhang, Zhen Yang, Ruiyi Zhang, Nanyun Peng, Zhe Gan, Kai-Wei Chang

分类: cs.CL, cs.AI, cs.CV, cs.LG, cs.MM

发布日期: 2026-10-19

💡 一句话要点

提出OpenVLHarness以解决多模态推理中的工具使用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 工具使用 持久记忆 能力层 证据渲染 智能助手 数据分析

📋 核心要点

  1. 现有的多模态推理方法在处理需要外部知识和工具的任务时表现不足，推理预算的增加效果有限。
  2. OpenVLHarness通过能力层和持久多模态记忆的结合，提供了一种新的多模态推理框架，支持工具的有效使用和证据的整合。
  3. 在22个基准测试中，OpenVLHarness在多个模型上平均提高了9.7-12.6分，展示了其在多模态推理中的显著优势。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉推理方面取得了快速进展，但许多任务需要通过外部知识和工具获取的证据。我们的研究表明，仅仅增加基础模型的推理预算只能带来有限的提升。为此，我们提出了OpenVLHarness，一个围绕能力层和持久多模态记忆组织的多模态推理工具。能力层结合了任务级工具接口与证据渲染，提供对异构后端的一致访问，并将其输出转换为模型可读的观察结果。持久多模态记忆在每个查询过程中保留相应的图像、结构化数据和网页引用。通过在22个基准测试上评估，OpenVLHarness在多个模型上显著提高了平均得分，展示了其在多模态证据获取和处理中的有效性。

🔬 方法详解

问题定义：论文旨在解决多模态推理中对外部工具和知识的依赖问题。现有方法在处理复杂任务时，往往无法有效整合异构信息，导致推理效果不佳。

核心思路：OpenVLHarness的核心思路是通过能力层和持久多模态记忆的结合，提供一致的工具接口和证据渲染，从而增强模型的推理能力和信息整合能力。

技术框架：整体架构包括能力层、持久多模态记忆和编码接口。能力层负责与异构后端的交互，持久多模态记忆则存储相关的图像和数据，编码接口用于执行生成的程序。

关键创新：最重要的技术创新在于持久多模态记忆的引入，使得模型能够在推理过程中保留和访问多种类型的证据，显著提升了推理的连贯性和准确性。

关键设计：在设计中，能力层提供了多种工具接口，支持不同类型的任务；持久多模态记忆通过结构化数据存储和网页引用，确保信息的可追溯性和可访问性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在22个基准测试中，OpenVLHarness在多个模型上平均提高了9.7-12.6分，其中Qwen3-VL-8B模型提升了11.2分，Kimi K3提升了9.7分，GPT-6 Astra提升了9.9分。此外，在中等推理努力下，OpenVLHarness在性能上超越了Codex和Visual Sketchpad，显示出其在多模态推理中的优势。

🎯 应用场景

OpenVLHarness在需要多模态推理的领域具有广泛的应用潜力，如智能助手、自动化问答系统和复杂数据分析等。其能够有效整合异构信息的能力，将推动相关技术的发展和应用，提升用户体验和决策支持。未来，该框架还可能扩展到更多的实际场景中，进一步增强人工智能系统的智能化水平。

📄 摘要（原文）

Multimodal large language models (MLLMs) have made rapid progress on visual reasoning, yet many tasks require evidence that is difficult to obtain through internal reasoning alone: our controlled study on 22 benchmarks shows that simply increasing the inference budget of the base model yields only modest gains. Such tasks demand grounded perception, external knowledge, and numerical measurements obtained through heterogeneous tools, whose outputs must be made interpretable to the model and retained across reasoning steps. We introduce OpenVLHarness, a multimodal reasoning harness organized around a capability layer and persistent multimodal memory. The capability layer combines task-level tool interfaces with evidence rendering, providing consistent access to heterogeneous backends and converting their outputs into model-readable observations. Persistent multimodal memory retains the corresponding images, structured data, and web references as addressable artifacts throughout each query. A coding interface executes generated programs over stored data, enabling computations that combine results from multiple tools. Together, these mechanisms support an iterative process of acquiring, inspecting, and composing multimodal evidence. Evaluated on 22 benchmarks with eight open and proprietary backbones, OpenVLHarness improves average scores by 9.7-12.6 points over matched no-tool baselines, including +11.2 with Qwen3-VL-8B, +9.7 with Kimi K3, and +9.9 with GPT-6 Astra. With GPT-6 Luna at medium reasoning effort, OpenVLHarness outperforms the base model, Codex, and Visual Sketchpad at maximum effort by 7.7-8.5 points while incurring at most 37% of their model-token cost.