VistaVLA: Geometry- and Semantic-Aware 3D Gaussian-Grounded VLA for Robotic Manipulation

📄 arXiv: 2607.12356v1 📥 PDF

作者: Mohan Liu, Zhihao Gu, Xuanyu Chen, Haitian Zhang, Kaimin Mao, Yan Wu, Wei-Yun Yau, Lin Wang

分类: cs.RO

发布日期: 2026-07-14

💡 一句话要点

提出VistaVLA以解决机器人操作中的3D语义理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 3D认知表示 机器人操作 高斯原语 空间推理 语义理解 合并-查询机制

📋 核心要点

  1. 现有的VLA模型缺乏明确的3D表示，限制了其在空间推理和几何约束方面的能力。
  2. VistaVLA通过构建几何和语义感知的3D认知表示，提升了机器人操作的空间理解能力。
  3. 在真实场景中，VistaVLA在七个任务上成功率提高了22.8%，在挑战性任务上相较于基线提升了30.0%。

📝 摘要（中文）

视觉-语言-行动（VLA）模型作为一种强大的端到端范式，通过将语言指令和2D视觉输入直接映射到动作。然而，这些模型缺乏明确的场景级3D表示，限制了其在空间布局和几何约束上的推理能力。为此，本文提出VistaVLA，一个新颖的两阶段框架，通过3D高斯原语构建几何和语义感知的3D认知表示，并将其作为紧凑的上下文标记用于VLA策略学习。VistaVLA通过将多视角视觉-语言特征提升为3D高斯原语，形成几何锚定的语义标记，从而实现2D视觉特征空间与视图一致的空间基础对齐。通过引入合并-查询（MtQ）机制，VistaVLA将密集的高斯原语压缩为高度紧凑的空间信息标记，实现了99%的标记减少，同时保留了与动作相关的3D布局和语义上下文。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在机器人操作中缺乏有效3D空间表示的问题，导致其在空间布局和几何约束推理上的不足。

核心思路：VistaVLA通过构建一个几何和语义感知的3D认知表示，利用3D高斯原语来提升模型的空间理解能力，从而实现更有效的机器人操作。

技术框架：VistaVLA采用两阶段框架，首先将多视角视觉-语言特征提升为3D高斯原语，然后通过MtQ机制将这些原语压缩为紧凑的空间信息标记，以便于VLA策略学习。

关键创新：VistaVLA的核心创新在于引入了MtQ机制，实现了高达99%的标记减少，同时保留了与动作相关的3D布局和语义上下文，这在现有方法中是前所未有的。

关键设计：在设计中，MtQ机制通过合并密集的高斯原语，生成具有空间信息的紧凑标记，确保了模型在处理复杂场景时的计算效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VistaVLA在真实场景中的实验结果显示，成功率提升了22.8%，在七个真实任务中表现优异。此外，在面对挑战性任务时，相较于VLA-Adapter基线，VistaVLA的成功率提升达30.0%，证明了其在复杂环境中的有效性。

🎯 应用场景

VistaVLA的研究成果在机器人操作、自动化制造、智能家居等领域具有广泛的应用潜力。通过提升机器人对3D环境的理解能力，该技术能够实现更复杂的任务执行和人机交互，未来可能推动智能机器人在日常生活中的普及与应用。

📄 摘要（原文）

Vision-Language-Action (VLA) models have emerged as a powerful end-to-end paradigm for robotic manipulation by mapping language instructions and 2D visual inputs directly to actions. However, these models lack an explicit, scene-level 3D representation, limiting their ability to reason over spatial layouts and geometric constraints. While recent efforts incorporate explicit 3D cues, such as depth maps or point clouds, to improve geometric awareness, they primarily capture low-level structures and lack high-level semantic grounding in 3D space. In human cognition, interaction with the physical world relies on a 3D semantic cognitive map - an internal mental model that integrates spatial layouts with semantic context to enable persistent, viewpoint-invariant reasoning. In light of this, we present VistaVLA, a novel two-stage framework that constructs a geometry- and semantics-aware 3D cognitive representation from 3D Gaussian primitives and grounds it as compact context tokens for VLA policy learning. Specifically, VistaVLA lifts multi-view vision-language features into 3D Gaussian primitives, forming geometry-anchored semantic tokens that align view-consistent spatial grounding with 2D visual feature spaces. To make this 3D representation computationally tractable for effective VLA control, we introduce Merge-then-Query (MtQ), a token summarization mechanism. MtQ compresses dense Gaussian primitives into a highly compact set of spatially informative tokens, achieving a 99% token reduction while preserving action-relevant 3D layouts and semantic context. Extensive evaluations in both simulated and real-world environments demonstrate the effectiveness of VistaVLA. Notably, in real-world scenarios, VistaVLA improves success rates by 22.8% across seven real-world tasks and by 30.0% over the VLA-Adapter baseline on challenging out-of-distribution tasks.