VISTA: A Visual Harness for Reasoning in an Interactive World

📄 arXiv: 2610.02200v1 📥 PDF

作者: Qiushi Han, Keya Hu, Linlu Qiu, Cathy Wu, Kaiming He

分类: cs.AI, cs.CV

发布日期: 2026-10-01

备注: Tech report. An early version of this manuscript was in a blogpost published in Aug 5, 2026: https://vista-research.github.io/

💡 一句话要点

提出VISTA以提升多模态模型在交互环境中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉记忆 推理能力 交互环境 智能系统

📋 核心要点

  1. 现有多模态模型在复杂交互环境中的推理能力尚未得到充分发挥，缺乏有效的视觉记忆机制。
  2. VISTA通过提供长远视觉能力和无损视觉记忆，允许模型主动检索和重组视觉输入，从而增强推理能力。
  3. 在ARC-AGI-3等基准测试中，VISTA显著提升了模型的行动效率，展示了其在多样化视觉环境中的优越性能。

📝 摘要（中文）

我们展示了多模态模型具有强大的推理能力，适当的工具可以释放其在多样化交互环境中解决任务的潜力。我们引入了VISTA，这是一种视觉工具，赋予通用多模态模型长远的视觉能力。VISTA允许模型通过视觉观察直接感知环境，并保持无损的视觉记忆，保存过去观察的原始形式。模型可以主动检索这些观察并在推理时重新组织其视觉输入。在ARC-AGI-3上，VISTA将Claude Opus 5.0的相对人类行动效率得分从40.68提升至完美的100.00，模型在使用比首次人类参与者少57.4%的动作完成所有25个公共游戏。VISTA的简单设计使其能够在多样的视觉环境中自然扩展，适应性极强。

🔬 方法详解

问题定义：本论文旨在解决多模态模型在复杂交互环境中推理能力不足的问题。现有方法缺乏有效的视觉记忆机制，导致模型无法充分利用历史观察信息。

核心思路：VISTA的核心思路是通过引入长远视觉能力和无损视觉记忆，允许模型在推理过程中主动检索和重组视觉输入，从而提升其在动态环境中的表现。

技术框架：VISTA的整体架构包括视觉输入模块、无损视觉记忆模块和推理模块。视觉输入模块负责捕捉环境信息，无损视觉记忆模块保存历史观察，推理模块则利用这些信息进行决策。

关键创新：VISTA的主要创新在于其无损视觉记忆的设计，使得模型能够在推理时灵活使用历史信息。这一设计与现有方法的本质区别在于，现有方法通常无法有效存储和利用过去的视觉信息。

关键设计：VISTA的关键设计包括高效的视觉记忆存储机制和灵活的检索算法。损失函数的设置旨在优化模型对历史观察的利用效率，网络结构则采用了适应性强的多模态融合技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ARC-AGI-3基准测试中，VISTA将Claude Opus 5.0的相对人类行动效率得分从40.68提升至100.00，模型完成所有25个公共游戏时使用的动作比首次人类参与者少57.4%。此外，VISTA在其他三个基准测试中也显著超越了使用相同基础模型的对照组，展示了其强大的适应性和性能。

🎯 应用场景

VISTA的研究成果具有广泛的应用潜力，尤其是在机器人导航、智能助手和游戏AI等领域。通过提升多模态模型的推理能力，VISTA能够使这些系统在复杂环境中更有效地进行决策和互动，未来可能推动智能系统的进一步发展与普及。

📄 摘要（原文）

We show that multimodal models possess strong reasoning abilities and that an appropriate harness can unlock their potential to solve tasks across diverse interactive environments. We introduce VISTA, a visual harness that gives a general-purpose multimodal model long-horizon vision. VISTA allows the model to directly perceive the environment through visual observations and maintains a lossless visual memory that preserves past observations in their original form. The model can actively retrieve these observations and reorganize its visual input as it reasons. On ARC-AGI-3, VISTA improves Claude Opus 5.0's Relative Human Action Efficiency score from 40.68 to a perfect 100.00, with the model completing all 25 public games using 57.4% fewer actions than first-time human participants. VISTA's simple design also allows it to extend naturally to diverse visual environments with minimal adaptation. Across three additional benchmarks covering a diverse range of visual games and puzzles, it substantially outperforms baselines using the same underlying model with minimal harnesses. Our results highlight VISTA's potential as a general-purpose visual harness for advancing multimodal agents in complex visual environments.