See&Trek: Training-Free Spatial Prompting for Multimodal Large Language Model

📄 arXiv: 2509.16087v1 📥 PDF

作者: Pengteng Li, Pinhao Song, Wuyang Li, Weiyu Guo, Huizai Yao, Yijie Xu, Dugang Liu, Hui Xiong

分类: cs.CV, cs.AI

发布日期: 2025-09-19

备注: Accepted by NeurIPS 2025

💡 一句话要点

提出SEE&TREK，增强多模态大语言模型在纯视觉下的空间理解能力

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 空间理解 视觉提示 运动重建 语义丰富度采样

📋 核心要点

  1. 现有MLLM在纯视觉下的空间理解能力不足，依赖额外模态如深度信息。
  2. SEE&TREK通过最大语义丰富度采样和运动重建，增强视觉多样性和空间关系。
  3. SEE&TREK无需训练，易于集成，并在空间推理任务上取得了显著的性能提升。

📝 摘要（中文）

本文提出SEE&TREK，这是一个无需训练的提示框架，旨在提升多模态大语言模型(MLLM)在仅有视觉约束下的空间理解能力。 现有方法主要依赖深度信息或点云等模态来增强空间推理，而纯视觉空间理解的研究相对不足。SEE&TREK通过增加视觉多样性和运动重建来解决这个问题。在视觉多样性方面，我们采用最大语义丰富度采样，利用现成的感知模型提取语义丰富的关键帧，以捕捉场景结构。在运动重建方面，我们模拟视觉轨迹并将相对空间位置编码到关键帧中，以保持空间关系和时间连贯性。我们的方法无需训练和GPU，只需一次前向传递，即可无缝集成到现有的MLLM中。在VSI-BENCH和STI-BENCH上的大量实验表明，SEE&TREK能够持续提升各种MLLM在不同空间推理任务上的性能，最高提升达3.5%，为更强的空间智能提供了一条有希望的途径。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLM）在仅使用视觉信息时，空间理解能力不足的问题。现有方法通常依赖于深度信息、点云等额外模态来辅助空间推理，而忽略了纯视觉场景下的空间关系建模。这限制了MLLM在缺乏额外传感器信息的场景中的应用。

核心思路：SEE&TREK的核心思路是通过增加视觉输入的多样性和重建场景的运动信息来提升MLLM的空间理解能力。具体来说，通过选择语义丰富的关键帧来捕捉场景结构，并模拟视觉轨迹来编码相对空间位置，从而使MLLM能够更好地理解场景的空间布局和物体之间的关系。

技术框架：SEE&TREK主要包含两个阶段：1) 最大语义丰富度采样（Maximum Semantic Richness Sampling）：利用预训练的感知模型提取图像的语义信息，并选择语义信息最丰富的关键帧。2) 运动重建（Motion Reconstruction）：模拟相机在场景中的运动轨迹，并将相对空间位置信息编码到关键帧中。最终，将这些处理后的关键帧输入到MLLM中进行空间推理。

关键创新：SEE&TREK的关键创新在于其完全无需训练的特性，以及对纯视觉空间理解的关注。与需要大量训练数据的方法不同，SEE&TREK可以直接应用于现有的MLLM，而无需进行额外的微调。此外，它专注于提升纯视觉场景下的空间理解能力，这在之前的研究中相对较少被探索。

关键设计：在最大语义丰富度采样中，使用预训练的视觉模型（例如，目标检测模型）提取图像的语义信息，并根据语义信息的丰富程度选择关键帧。在运动重建中，通过模拟相机在场景中的平移和旋转运动来生成视觉轨迹，并将相对空间位置信息编码到关键帧中。具体编码方式未知，论文中可能未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SEE&TREK在VSI-BENCH和STI-BENCH数据集上进行了广泛的实验，结果表明，该方法能够持续提升各种MLLM在不同空间推理任务上的性能，最高提升达3.5%。这些结果验证了SEE&TREK在提升纯视觉空间理解能力方面的有效性。

🎯 应用场景

SEE&TREK可应用于机器人导航、自动驾驶、虚拟现实等领域。通过提升机器在纯视觉环境下的空间理解能力，可以使机器人在复杂环境中更好地进行定位、导航和交互。该研究有助于推动机器人和人工智能技术在实际场景中的应用。

📄 摘要（原文）

We introduce SEE&TREK, the first training-free prompting framework tailored to enhance the spatial understanding of Multimodal Large Language Models (MLLMS) under vision-only constraints. While prior efforts have incorporated modalities like depth or point clouds to improve spatial reasoning, purely visualspatial understanding remains underexplored. SEE&TREK addresses this gap by focusing on two core principles: increasing visual diversity and motion reconstruction. For visual diversity, we conduct Maximum Semantic Richness Sampling, which employs an off-the-shell perception model to extract semantically rich keyframes that capture scene structure. For motion reconstruction, we simulate visual trajectories and encode relative spatial positions into keyframes to preserve both spatial relations and temporal coherence. Our method is training&GPU-free, requiring only a single forward pass, and can be seamlessly integrated into existing MLLM'S. Extensive experiments on the VSI-B ENCH and STI-B ENCH show that S EE &T REK consistently boosts various MLLM S performance across diverse spatial reasoning tasks with the most +3.5% improvement, offering a promising path toward stronger spatial intelligence.