See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

📄 arXiv: 2603.11601v1 📥 PDF

作者: Ashish Baghel, Paras Chopra

分类: cs.AI

发布日期: 2026-03-12

备注: 11 pages, 13 figures. Accepted to LMReasoning Workshop at AAAI 2026

💡 一句话要点

利用空间表征增强VLMs在交互式游戏中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 符号化表示 视觉Grounding 交互式环境 强化学习

📋 核心要点

  1. 现有VLM在交互式环境中，难以将视觉感知转化为精确的动作指令，缺乏有效的 grounding。
  2. 论文核心思想是同时提供VLM视觉帧和场景的符号化表示，辅助模型进行决策和行动。
  3. 实验表明，当符号信息准确时，所有模型性能均提升；但自提取符号的性能受模型能力和场景复杂性影响。

📝 摘要（中文）

视觉-语言模型(VLMs)擅长描述视觉场景，但难以将感知转化为精确的、有依据的动作。本文研究了同时向VLMs提供视觉帧和场景的符号化表示，是否能提高其在交互式环境中的性能。作者在Atari游戏、VizDoom和AI2-THOR等环境中，评估了三种最先进的VLMs，比较了仅使用帧、帧与自提取符号、帧与ground-truth符号以及仅使用符号的pipeline。结果表明，当符号信息准确时，所有模型都受益。然而，当VLMs自行提取符号时，性能取决于模型能力和场景复杂度。作者进一步研究了VLMs从视觉输入中提取符号信息的准确程度，以及这些符号中的噪声如何影响决策和游戏性能。研究结果表明，只有在符号提取可靠时，符号化 grounding 才能在VLMs中发挥作用，并强调了感知质量是未来基于VLM的智能体的核心瓶颈。

🔬 方法详解

问题定义：现有视觉-语言模型(VLMs)在交互式环境中，虽然能够理解视觉场景，但难以将其转化为精确的、可执行的动作。主要痛点在于缺乏有效的视觉 grounding，即无法将视觉信息与具体的行为指令联系起来，导致决策和行动的准确性不足。

核心思路：论文的核心思路是利用场景的符号化表示来增强VLMs的视觉 grounding 能力。通过同时提供视觉帧和场景的符号化信息，模型可以更好地理解场景中的对象、关系和状态，从而做出更合理的决策。这样设计的目的是为了弥补VLMs在感知和行动之间的鸿沟，提高其在交互式环境中的表现。

技术框架：整体框架包括以下几个主要阶段：1) 视觉输入：接收来自环境的视觉帧；2) 符号提取：从视觉帧中提取场景的符号化表示（可以是自提取或ground-truth）；3) VLM处理：将视觉帧和符号化信息输入到VLM中进行处理；4) 动作决策：VLM根据处理结果生成动作指令；5) 环境交互：将动作指令发送到环境中执行。论文比较了不同输入组合（仅帧、帧+自提取符号、帧+ground-truth符号、仅符号）对VLM性能的影响。

关键创新：最重要的技术创新点在于探索了符号化表示在增强VLMs视觉 grounding 能力方面的作用。与传统的仅依赖视觉输入的VLM方法相比，该方法通过引入符号化信息，为VLM提供了更结构化和语义化的场景表示，从而提高了其决策和行动的准确性。此外，论文还研究了自提取符号的质量对VLM性能的影响，揭示了感知质量是VLM-based agent 的一个关键瓶颈。

关键设计：论文评估了三种state-of-the-art VLMs，具体模型名称未知。符号提取方法根据实验设置分为自提取和ground-truth两种。自提取符号的具体实现方式未知，但论文强调了其准确性对最终性能的影响。损失函数和网络结构等技术细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当符号信息准确时，所有模型都受益，性能得到提升。然而，当VLMs自行提取符号时，性能取决于模型能力和场景复杂度。研究还发现，符号提取的准确性是影响VLM性能的关键因素，表明感知质量是未来VLM-based agent 的一个核心瓶颈。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、智能助手等领域。通过增强VLMs的视觉 grounding 能力，可以使智能体更好地理解环境，做出更合理的决策，从而提高其在复杂环境中的适应性和交互能力。未来的研究可以进一步探索更有效的符号提取方法，以及如何将符号化信息与VLMs进行更紧密的集成。

📄 摘要（原文）

Vision-Language Models (VLMs) excel at describing visual scenes, yet struggle to translate perception into precise, grounded actions. We investigate whether providing VLMs with both the visual frame and the symbolic representation of the scene can improve their performance in interactive environments. We evaluate three state-of-the-art VLMs across Atari games, VizDoom, and AI2-THOR, comparing frame-only, frame with self-extracted symbols, frame with ground-truth symbols, and symbol-only pipelines. Our results indicate that all models benefit when the symbolic information is accurate. However, when VLMs extract symbols themselves, performance becomes dependent on model capability and scene complexity. We further investigate how accurately VLMs can extract symbolic information from visual inputs and how noise in these symbols affects decision-making and gameplay performance. Our findings reveal that symbolic grounding is beneficial in VLMs only when symbol extraction is reliable, and highlight perception quality as a central bottleneck for future VLM-based agents.