VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation

📄 arXiv: 2610.12451v1 📥 PDF

作者: Boyao Han, Chen Shi, Jingjing Qian, ZhuoTan Tian, Li Jiang

分类: cs.CV, cs.RO

发布日期: 2026-10-08

备注: Accepted at NeurIPS 2026. Project page: https://boyaohan.github.io/VersaCamVLA.github.io/


💡 一句话要点

提出VersaCamVLA以解决固定相机配置带来的机器人操作脆弱性问题

🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 相机配置 多视图学习 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在训练时依赖固定的相机配置,导致在实际应用中对相机变化的适应性差。
  2. 本文提出的VersaCamVLA框架通过解耦相机集表示与动作学习,允许灵活配置相机视图以增强模型的适应性。
  3. 实验结果显示,VersaCamVLA在多个平台上均优于传统VLA方法,尤其在不同相机数量和姿态下表现出色。

📝 摘要(中文)

视觉-语言-动作(VLA)模型在机器人操作中展现出强大的基础能力,但其在训练过程中依赖固定的相机配置,使得在部署时对相机数量或姿态的变化表现脆弱。为了解决这些限制,本文提出了VersaCamVLA,一个可配置相机的框架,解耦了相机集表示与动作学习。VersaCamVLA学习了一个统一的场景标记接口,将任意的、可变的RGB视图集映射为固定大小的潜在场景标记。通过多信号目标视图预测和增强手腕姿态采样(WAPS),利用自然的手腕-相机运动实现自由姿态多样性。在部署时,一个轻量级空间编码器将这些紧凑的场景标记注入到预训练的基础VLA中,作为补充视觉条件,无需显式的3D感知或新视图渲染。实验结果表明,VersaCamVLA在RoboTwin、LIBERO和真实机器人平台上均优于之前的VLA方法和直接的多视图基线,能够在不同相机数量和未见相机姿态下保持稳健的性能。

🔬 方法详解

问题定义:本文旨在解决现有视觉-语言-动作模型在训练过程中对固定相机配置的依赖,导致在实际部署中对相机数量和姿态变化的脆弱性。

核心思路:VersaCamVLA通过解耦相机集表示与动作学习,学习一个统一的场景标记接口,将任意的RGB视图集映射为固定大小的潜在场景标记,从而提高模型的灵活性和适应性。

技术框架:该框架包括多个模块,首先通过多信号目标视图预测生成场景标记,然后利用增强手腕姿态采样(WAPS)实现姿态多样性,最后通过轻量级空间编码器将场景标记注入到预训练的VLA模型中。

关键创新:VersaCamVLA的主要创新在于其可配置性,允许在部署时根据实际相机配置灵活调整,而无需进行复杂的3D感知或新视图渲染。

关键设计:关键设计包括多信号目标视图预测的实现方式、WAPS的具体算法,以及轻量级空间编码器的结构设计,确保模型在不同相机配置下的有效性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboTwin、LIBERO和真实机器人平台上的实验结果表明,VersaCamVLA在不同相机数量和未见相机姿态下均表现优越,相较于传统VLA方法和直接多视图基线,性能提升显著,具体提升幅度未知。

🎯 应用场景

VersaCamVLA的研究成果在机器人操作、自动化制造、智能家居等领域具有广泛的应用潜力。通过提高机器人对不同相机配置的适应能力,该技术能够在动态环境中实现更高效的操作,推动智能机器人技术的进一步发展。

📄 摘要(原文)

Vision-Language-Action (VLA) models have emerged as powerful foundations for robotic manipulation, but their reliance on fixed camera configurations during training makes them brittle to changes in camera count or pose during deployment. To overcome these limitations, we propose VersaCamVLA, a camera-configurable framework that decouples camera-set representation from action learning. VersaCamVLA learns a unified scene-token interface that maps an arbitrary, variable set of posed RGB views into fixed-size latent scene tokens. This is achieved via multi-signal target-view prediction and Wrist-Augmented Pose Sampling (WAPS), which leverages natural wrist-camera motion for free pose diversity. At deployment, a lightweight spatial encoder injects these compact scene tokens into a pretrained base VLA as a supplementary visual condition, requiring no explicit 3D sensing or novel-view rendering. Experiments on RoboTwin, LIBERO, and a real-robot platform demonstrate that VersaCamVLA consistently outperforms prior VLA methods and direct multi-view baselines, maintaining robust performance across varying camera counts and unseen camera poses.