StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision

📄 arXiv: 2512.21970v1 📥 PDF

作者: Shengliang Deng, Mi Yan, Yixin Zheng, Jiayi Su, Wenhao Zhang, Xiaoguang Zhao, Heming Cui, Zhizheng Zhang, He Wang

分类: cs.RO

发布日期: 2025-12-26

💡 一句话要点

StereoVLA：利用立体视觉增强视觉-语言-动作模型，提升机器人操作精度

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立体视觉 视觉-语言-动作模型 机器人操作 几何特征 语义特征 深度估计 空间感知

📋 核心要点

  1. 现有VLA模型在机器人操作中缺乏对立体视觉几何信息的有效利用，限制了操作精度。
  2. StereoVLA通过几何-语义特征提取模块融合立体视觉的几何特征和单目视觉的语义特征，增强空间感知能力。
  3. 实验结果表明，StereoVLA在立体视觉任务中显著优于现有方法，并对相机姿态变化具有较强的鲁棒性。

📝 摘要（中文）

本文提出StereoVLA，一种利用立体视觉提供的丰富几何线索增强视觉-语言-动作(VLA)模型的方法。该模型包含一个新颖的几何-语义特征提取模块，该模块利用视觉基础模型提取并融合两种关键特征：1)来自细微立体视图差异的几何特征，用于空间感知；2)来自单目视图的语义丰富特征，用于指令跟随。此外，本文还提出了一个辅助的交互区域深度估计任务，以进一步增强空间感知并加速模型收敛。大量实验表明，在立体视觉设置下的各种任务中，该方法明显优于基线模型，并表现出对相机姿态变化的强大鲁棒性。

🔬 方法详解

问题定义：现有的视觉-语言-动作模型(VLA)在机器人操作任务中，通常依赖单目视觉输入，缺乏对场景深度信息的精确感知。这限制了模型在需要精细空间操作任务中的表现，尤其是在存在遮挡或复杂几何结构的场景中。现有方法难以有效利用立体视觉提供的几何信息，导致操作精度不足。

核心思路：StereoVLA的核心思路是利用立体视觉提供的左右图像差异，提取丰富的几何特征，并将其与单目图像中的语义特征融合，从而增强模型对场景空间结构的理解。通过这种方式，模型可以更准确地感知物体的位置、形状和相互关系，从而提高操作的精度和鲁棒性。

技术框架：StereoVLA模型主要包含以下几个模块：1) 几何-语义特征提取模块：该模块接收立体图像对作为输入，利用视觉基础模型提取几何特征（来自立体差异）和语义特征（来自单目图像）。然后，将这两种特征进行融合，得到包含丰富空间信息的特征表示。2) 动作预测模块：该模块接收融合后的特征表示和语言指令作为输入，预测机器人需要执行的动作序列。3) 交互区域深度估计模块：这是一个辅助任务，用于预测机器人与物体交互区域的深度信息，进一步增强模型的空间感知能力。

关键创新：StereoVLA最重要的技术创新点在于几何-语义特征提取模块，该模块能够有效地从立体图像对中提取并融合几何特征和语义特征。与现有方法相比，StereoVLA能够更好地利用立体视觉提供的空间信息，从而提高模型在机器人操作任务中的表现。此外，辅助的交互区域深度估计任务也有助于提升空间感知能力和加速模型收敛。

关键设计：在几何-语义特征提取模块中，使用了预训练的视觉基础模型（例如，CLIP）来提取语义特征。几何特征的提取则依赖于对立体图像对进行视差估计，并利用视差图计算深度信息。融合几何特征和语义特征时，采用了注意力机制，使模型能够自适应地关注重要的特征。交互区域深度估计任务的损失函数采用了L1损失或Smooth L1损失，以保证深度预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StereoVLA在多个立体视觉机器人操作任务中取得了显著的性能提升。实验结果表明，StereoVLA在各种任务中均优于基线模型，并且对相机姿态变化具有很强的鲁棒性。具体而言，在一些任务中，StereoVLA的性能提升幅度超过10%，证明了其有效性。此外，交互区域深度估计任务的引入也显著加速了模型的收敛速度。

🎯 应用场景

StereoVLA在机器人操作领域具有广泛的应用前景，例如：工业自动化中的精密装配、医疗机器人辅助手术、家庭服务机器人等。通过利用立体视觉提供的精确空间信息，可以显著提高机器人在复杂环境中的操作能力，降低操作难度，并提高操作的安全性。未来，该技术有望应用于更广泛的机器人应用场景，例如自动驾驶、无人机等。

📄 摘要（原文）

Stereo cameras closely mimic human binocular vision, providing rich spatial cues critical for precise robotic manipulation. Despite their advantage, the adoption of stereo vision in vision-language-action models (VLAs) remains underexplored. In this work, we present StereoVLA, a VLA model that leverages rich geometric cues from stereo vision. We propose a novel Geometric-Semantic Feature Extraction module that utilizes vision foundation models to extract and fuse two key features: 1) geometric features from subtle stereo-view differences for spatial perception; 2) semantic-rich features from the monocular view for instruction following. Additionally, we propose an auxiliary Interaction-Region Depth Estimation task to further enhance spatial perception and accelerate model convergence. Extensive experiments show that our approach outperforms baselines by a large margin in diverse tasks under the stereo setting and demonstrates strong robustness to camera pose variations.