Bridge3D: Enabling Vision-Language-Action Models to See and Act in 3D

📄 arXiv: 2609.24525v1 📥 PDF

作者: Haoxuan Li, Sixu Yan, Lianghui Zhu, Xuanlai Tang, Shikang Wang, Xinggang Wang

分类: cs.RO

发布日期: 2026-09-21

💡 一句话要点

提出Bridge3D以解决VLA模型在3D操作中的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 3D感知 机器人操作 多模态学习 空间敏感任务

📋 核心要点

  1. 现有VLA模型主要基于2D观察，限制了其在3D空间中的操作精度和能力。
  2. Bridge3D通过引入隐式融合和显式条件化，增强了模型的3D感知和操作能力。
  3. 实验结果显示，Bridge3D在RoboTwin 2.0基准测试中超越了现有方法，提升幅度显著。

📝 摘要（中文）

视觉-语言-行动（VLA）模型在机器人操作中表现出色，但主要基于2D观察，限制了其空间操作能力。本文提出Bridge3D，通过将隐式和显式的3D几何指导整合到预训练的2D VLA模型中，使其能够在3D环境中“看”和“行”。Bridge3D引入了两种策略：隐式融合和显式条件化，显著提升了模型在高精度空间敏感操作任务中的表现。实验结果表明，Bridge3D在RoboTwin 2.0基准测试中超越了现有最优方法，展现出强大的操作能力。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在3D空间操作中的局限性，特别是缺乏显式几何指导的问题。现有方法虽然引入了隐式空间先验，但仍无法有效支持高精度的空间操作。

核心思路：Bridge3D的核心思路是将隐式和显式的3D几何指导结合到预训练的2D VLA模型中，从而提升其在3D环境中的感知和操作能力。通过这种设计，模型能够更好地理解和利用3D空间信息。

技术框架：Bridge3D的整体架构包括两个主要模块：隐式融合模块和显式条件化模块。隐式融合模块通过3D基础模型的特征丰富视觉标记，而显式条件化模块则结合动作去噪和显式3D语义场，以实现更精准的3D操作。

关键创新：Bridge3D的主要创新在于同时引入隐式和显式的3D几何指导，这与以往仅依赖隐式空间先验的方法有本质区别。此创新使得模型在3D操作中具备更强的能力。

关键设计：在设计中，Bridge3D采用了层级线性探测的方法来提升学习效率，并在网络结构中引入了特定的损失函数，以优化3D感知和操作的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Bridge3D在RoboTwin 2.0基准测试中超越了现有最优方法π_0，提升幅度达到14.0个百分点。此外，在实际应用中，Bridge3D相比Spatial Forcing提升了11.7个百分点，显示出其在高精度空间敏感操作任务中的强大能力。

🎯 应用场景

Bridge3D的研究成果在多个领域具有潜在应用价值，包括机器人抓取、自动驾驶、虚拟现实等。通过提升模型在3D空间中的感知和操作能力，能够为智能机器人和自动化系统提供更高的精度和灵活性，推动相关技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have demonstrated remarkable generalization in robotic manipulation via large-scale multimodal pretraining. However, VLA models are mainly trained on 2D-centric observations, which inherently constrains their capacity for precise spatial manipulation. Previous methods enhance 3D awareness by introducing implicit spatial priors, but still lack explicit geometry guidance. In this paper, we propose Bridge3D that integrates both implicit and explicit 3D geometry guidance into pre-trained 2D VLA models, enabling them to ''see'' and ''act'' in 3D. Bridge3D introduces two strategies: 1) Implicit Fusion, which enriches visual tokens with features from 3D foundation models to improve ''seeing'' in 3D; 2) Explicit Conditioning, which integrates action denoising with an explicit 3D semantic field to achieve ''acting'' in 3D. Furthermore, we utilize the proposed layer-wise linear probing to improve learning efficiency. Experiments show that Bridge3D achieves superior performance against state-of-the-art methods. On the RoboTwin 2.0 benchmark, Bridge3D exceeds $π_0$ by 14.0 percentage points, while in real-world experiments, it outperforms Spatial Forcing by 11.7 percentage points. These results demonstrate Bridge3D's strong capabilities in high-precision and spatial-sensitive manipulation tasks.