Seeing Space and Motion: Enhancing Latent Actions with Spatial and Dynamic Awareness for VLA

📄 arXiv: 2509.26251v1 📥 PDF

作者: Zhejia Cai, Yandan Yang, Xinyuan Chang, Shiyi Liang, Ronghan Chen, Feng Xiong, Mu Xu, Ruqi Huang

分类: cs.CV

发布日期: 2025-09-30

💡 一句话要点

提出Farsighted-LAM和SSM-VLA，增强VLA系统中潜在动作模型的空间和动态感知能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 潜在动作模型 几何感知 时间建模 链式思考 具身智能 机器人导航

📋 核心要点

  1. 现有LAMs的图像编码器空间理解能力不足，且对远距离帧的感知能力有限，导致动作建模不稳定和不清晰。
  2. 提出Farsighted-LAM，利用几何感知的空间编码和多尺度时间建模，从连续帧中提取结构先验和动态运动模式。
  3. 构建SSM-VLA，通过视觉链式思考模块显式推理环境动态，提升决策一致性和可解释性，并在VLA任务上取得SOTA性能。

📝 摘要（中文）

本文针对潜在动作模型(LAM)在视觉-语言-动作(VLA)系统中存在的两个瓶颈：图像编码器空间理解不足和时间感知有限，提出了Farsighted-LAM框架。该框架通过几何感知的空间编码和多尺度时间建模，捕捉连续帧中的结构先验和动态运动模式。此外，本文还提出了基于Farsighted-LAM的端到端VLA框架SSM-VLA，它集成了结构化感知和视觉链式思考模块，显式地推理环境动态，从而增强决策的一致性和可解释性。在模拟和真实世界的多个VLA任务上的验证结果表明，结合几何感知建模、时间一致性和显式推理的策略能够有效提高具身智能的鲁棒性和泛化能力，并取得了当前最优的性能。

🔬 方法详解

问题定义：现有的潜在动作模型（LAMs）在视觉-语言-动作（VLA）系统中存在两个主要问题。一是常用的端到端训练的图像编码器缺乏良好的空间理解能力，难以准确捕捉场景的几何结构信息。二是LAMs在处理时间上距离较远的输入帧时表现脆弱，导致时间感知能力受限，无法有效建模长期依赖关系。这些问题最终阻碍了稳定和清晰的动作建模。

核心思路：本文的核心思路是通过引入几何感知的空间编码和多尺度时间建模来增强LAMs的空间和动态感知能力。几何感知编码旨在提升模型对场景结构的理解，而多尺度时间建模则用于捕捉连续帧中的动态运动模式，从而克服现有LAMs在空间理解和时间感知方面的不足。

技术框架：整体框架包含两个主要部分：Farsighted-LAM和SSM-VLA。Farsighted-LAM是一个改进的潜在动作模型，它使用几何感知的空间编码器和多尺度时间建模模块。SSM-VLA则是在Farsighted-LAM的基础上构建的端到端VLA框架，它集成了结构化感知模块和视觉链式思考模块，用于显式地推理环境动态，并做出决策。

关键创新：本文的关键创新在于将几何感知建模、时间一致性和显式推理相结合。具体来说，几何感知建模通过引入深度信息等几何先验来增强空间理解；多尺度时间建模通过捕捉不同时间尺度的运动模式来提升时间感知能力；显式推理则通过视觉链式思考模块来模拟人类的推理过程，从而提高决策的可解释性和一致性。

关键设计：几何感知的空间编码器可能使用了诸如深度估计网络或三维重建模块来提取场景的几何信息，并将其融入到图像特征中。多尺度时间建模可能采用了不同大小的卷积核或循环神经网络来捕捉不同时间跨度的运动模式。视觉链式思考模块可能采用了Transformer结构或图神经网络来模拟推理过程，并生成可解释的推理步骤。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SSM-VLA在多个VLA任务上取得了state-of-the-art的性能。具体数据未知，但论文强调了在模拟和真实世界环境中的有效性，证明了结合几何感知建模、时间一致性和显式推理的策略能够有效提高具身智能的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、智能监控等领域。通过增强机器人对环境的理解和预测能力，可以提高其在复杂环境中的自主性和适应性。例如，在自动驾驶中，该技术可以帮助车辆更好地理解交通场景，预测其他车辆和行人的行为，从而提高驾驶安全性。

📄 摘要（原文）

Latent Action Models (LAMs) enable Vision-Language-Action (VLA) systems to learn semantic action representations from large-scale unannotated data. Yet, we identify two bottlenecks of LAMs: 1) the commonly adopted end-to-end trained image encoder suffers from poor spatial understanding; 2) LAMs can be fragile when input frames are distant, leading to limited temporal perception. Such factors inevitably hinder stable and clear action modeling. To this end, we propose Farsighted-LAM, a latent action framework with geometry-aware spatial encoding and multi-scale temporal modeling, capturing structural priors and dynamic motion patterns from consecutive frames. We further propose SSM-VLA, an end-to-end VLA framework built upon Farsighted-LAM, which integrates structured perception with a visual Chain-of-Thought module to explicitly reason about environmental dynamics, enhancing decision consistency and interpretability. We validate SSM-VLA on multiple VLA tasks in both simulation and real-world settings, and achieve state-of-the-art performance. Our results demonstrate that our strategy of combining geometry-aware modeling, temporal coherence, and explicit reasoning is effective in enhancing the robustness and generalizability of embodied intelligence.