SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model
作者: Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Yan Ding, Zhigang Wang, JiaYuan Gu, Bin Zhao, Dong Wang, Xuelong Li
分类: cs.RO, cs.AI
发布日期: 2025-01-27 (更新: 2025-05-19)
期刊: Robotics: Science and Systems, 2025
💡 一句话要点
SpatialVLA：探索空间表征，用于视觉-语言-动作机器人基础模型
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 视觉语言动作模型 空间表征 自适应动作网格 零样本学习
📋 核心要点
- 现有机器人操作模型缺乏有效的空间理解能力，限制了其泛化性和迁移性。
- SpatialVLA通过引入Ego3D位置编码和自适应动作网格，增强模型对空间信息的感知和动作的表达。
- 实验表明，SpatialVLA在模拟和真实机器人任务中表现出色，具有强大的零样本泛化和适应能力。
📝 摘要（中文）
本文提出空间理解是机器人操作的关键，并提出了SpatialVLA，旨在探索机器人基础模型的有效空间表征。具体来说，我们引入了Ego3D位置编码，将3D信息注入到视觉-语言-动作模型的输入观测中，并提出了自适应动作网格，用自适应离散化动作网格来表示空间机器人运动动作，从而促进学习可泛化和可迁移的跨机器人控制空间动作知识。SpatialVLA首先在一个包含110万个真实机器人episode的视觉-语言模型上进行预训练，以学习跨多个机器人环境和任务的通用操作策略。预训练后，SpatialVLA可以直接以零样本方式执行大量任务。在模拟和真实机器人中的优越结果证明了其推断复杂机器人运动轨迹的优势和强大的领域内多任务泛化能力。我们进一步表明，所提出的自适应动作网格为微调预训练的SpatialVLA模型以适应新的模拟和真实设置提供了一种新的有效方法，其中预先学习的动作网格被重新离散化，以捕获新设置的机器人特定空间动作运动。广泛评估的优越结果证明了卓越的分布内泛化和分布外适应能力，突出了所提出的空间感知表征对于通用机器人策略学习的关键优势。所有细节和代码都将开源。
🔬 方法详解
问题定义：现有机器人操作模型在理解和利用空间信息方面存在不足，导致难以泛化到新的环境和任务中。尤其是在跨机器人平台进行迁移时，由于不同机器人的运动学特性差异，预训练的模型难以直接应用。现有方法通常依赖于大量的特定任务数据进行训练，成本高昂且泛化能力有限。
核心思路：SpatialVLA的核心思路是通过显式地建模空间信息，增强模型对机器人操作环境的理解。具体来说，它通过Ego3D位置编码将3D信息融入输入观测，并使用自适应动作网格来表示机器人运动动作。这种设计使得模型能够学习到通用的空间动作知识，从而实现跨机器人平台的泛化和迁移。
技术框架：SpatialVLA的整体框架包括以下几个主要模块：1) 视觉-语言模型：用于处理输入图像和语言指令；2) Ego3D位置编码：将3D信息编码到视觉特征中；3) 自适应动作网格：将连续动作空间离散化为可学习的动作网格；4) 策略网络：根据视觉特征和语言指令，选择合适的动作。模型首先在大量真实机器人数据上进行预训练，然后可以通过微调适应新的环境和任务。
关键创新：SpatialVLA的关键创新在于提出了自适应动作网格。与传统的固定动作网格相比，自适应动作网格可以根据机器人的运动学特性进行调整，从而更好地捕捉机器人特定的空间动作运动。这种自适应性使得模型能够更好地泛化到不同的机器人平台。
关键设计：Ego3D位置编码使用预训练的Ego3D模型提取3D信息，并将其与视觉特征进行融合。自适应动作网格通过可学习的参数来控制网格的形状和大小，并使用KL散度损失来约束网格的分布。策略网络采用Transformer结构，用于学习视觉特征、语言指令和动作之间的关系。
🖼️ 关键图片
📊 实验亮点
SpatialVLA在模拟和真实机器人任务中取得了显著的成果。在零样本设置下，SpatialVLA能够成功执行多种复杂的机器人操作任务，例如物体抓取和放置。与基线模型相比，SpatialVLA在任务成功率方面取得了显著提升，证明了其强大的泛化能力。此外，通过对自适应动作网格进行微调，SpatialVLA能够快速适应新的机器人平台和环境。
🎯 应用场景
SpatialVLA具有广泛的应用前景，可用于各种机器人操作任务，如物体抓取、装配、导航等。该模型可以降低机器人部署的成本，提高机器人的智能化水平。未来，SpatialVLA有望应用于智能制造、家庭服务、医疗健康等领域，实现机器人的自动化和智能化。
📄 摘要（原文）
In this paper, we claim that spatial understanding is the keypoint in robot manipulation, and propose SpatialVLA to explore effective spatial representations for the robot foundation model. Specifically, we introduce Ego3D Position Encoding to inject 3D information into the input observations of the visual-language-action model, and propose Adaptive Action Grids to represent spatial robot movement actions with adaptive discretized action grids, facilitating learning generalizable and transferrable spatial action knowledge for cross-robot control. SpatialVLA is first pre-trained on top of a vision-language model with 1.1 Million real-world robot episodes, to learn a generalist manipulation policy across multiple robot environments and tasks. After pre-training, SpatialVLA is directly applied to perform numerous tasks in a zero-shot manner. The superior results in both simulation and real-world robots demonstrate its advantage of inferring complex robot motion trajectories and its strong in-domain multi-task generalization ability. We further show the proposed Adaptive Action Grids offer a new and effective way to fine-tune the pre-trained SpatialVLA model for new simulation and real-world setups, where the pre-learned action grids are re-discretized to capture robot-specific spatial action movements of new setups. The superior results from extensive evaluations demonstrate the exceptional in-distribution generalization and out-of-distribution adaptation capability, highlighting the crucial benefit of the proposed spatial-aware representations for generalist robot policy learning. All the details and codes will be open-sourced.