Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manipulation

📄 arXiv: 2607.06564v1 📥 PDF

作者: Jiaming Liu, Qingpo Wuwu, Nuowei Han, Hao Chen, Zhuoyang Liu, Fan Fei, Yueru Jia, Chenyang Gu, Yandong Guo, Boxin Shi, Shanghang Zhang

分类: cs.RO, cs.CV

发布日期: 2026-07-07

备注: 14 pages, 7 figures. Project website: https://lift3dvla.github.io/

💡 一句话要点

提出Lift3D-VLA以解决VLA模型在3D几何理解中的不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 3D几何理解 自监督学习 机器人操作 动态环境 时间一致性 点云推理 多层次建模

📋 核心要点

  1. 现有VLA方法在整合3D几何信息和时间结构化动作时存在数据不足和信息损失的问题。
  2. 本文提出Lift3D-VLA框架，通过增强的2D模型提升策略和几何中心自监督框架，实现3D点云推理和时间一致的动作生成。
  3. 在22个模拟任务和8个真实操作任务中，Lift3D-VLA的成功率分别提高了10.8%和11.1%，并在真实世界基线中超出4个百分点。

📝 摘要（中文）

近年来，视觉-语言-动作（VLA）模型在多种任务中展现出强大的泛化能力。然而，有效的机器人操作需要对几何和空间推理的深入理解。现有VLA方法在整合3D信息时受到数据有限和几何信息损失的限制，无法在动态环境中共同捕捉3D几何和时间结构化动作。为了解决这些问题，本文提出了Lift3D-VLA，一个统一的VLA框架，具备明确的3D点云推理能力，并支持时间一致的动作生成。通过增强的2D模型提升策略和几何中心的自监督框架，Lift3D-VLA在22个模拟任务和8个真实世界操作任务中表现出色，成功率显著高于现有最佳VLA方法。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型在动态环境中对3D几何理解和空间推理不足的问题。现有方法在处理3D信息时常常面临数据稀缺和几何信息损失的挑战，导致无法有效捕捉时间结构化的动作。

核心思路：论文提出的Lift3D-VLA框架通过引入明确的3D点云推理和时间一致的动作生成，克服了现有方法的局限性。通过增强的2D模型提升策略，直接将3D点与预训练的2D位置嵌入对齐，从而减少空间信息的损失。

技术框架：Lift3D-VLA的整体架构包括多个模块：首先，使用增强的2D模型提升策略进行3D点云编码；其次，采用几何中心的自监督框架（GC-MAE）重建当前点云并预测其未来几何演变；最后，设计层级时间动作建模，利用多个LLM层协同预测动作片段。

关键创新：本文的关键创新在于引入了几何中心的自监督学习框架GC-MAE，使得2D视觉编码器能够内化3D结构和物理动态。此外，层级时间动作建模的设计使得模型能够进行时间一致的动作预测，这在现有方法中是前所未有的。

关键设计：在模型设计中，采用了双目标自监督学习策略，损失函数包括当前点云重建损失和未来几何演变预测损失，确保模型能够有效学习3D几何信息。同时，网络结构中引入了多层次的LLM，以增强动作预测的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Lift3D-VLA在22个模拟任务和8个真实操作任务中表现优异，分别比最佳现有VLA方法提高了10.8%和11.1%的成功率。同时，在真实世界基线中超出4个百分点，展现出更强的泛化能力，尤其是在面对分布外扰动时。

🎯 应用场景

Lift3D-VLA框架在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提升对3D几何和动态环境的理解，该模型能够实现更高效的物体操控和任务执行，推动智能机器人在复杂环境中的应用。未来，该技术可能会影响人机交互、自动驾驶等多个领域。

📄 摘要（原文）

Recently, Vision-Language-Action (VLA) models have demonstrated strong generalization across diverse tasks. However, effective robotic manipulation in physical environments fundamentally requires geometric understanding and spatial reasoning. While some VLA approaches attempt to incorporate 3D information, they are constrained by limited data availability and geometric information loss in current 3D encoding pipelines, and fail to jointly capture 3D geometry and temporally structured actions in dynamic environments. To address these limitations, we introduce Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and enables temporally coherent action generation. First, building upon our previous work Lift3D, an enhanced 2D model-lifting strategy is proposed to geometrically align 3D points with pretrained 2D positional embeddings. This design enables direct point-cloud encoding within the VLA vision encoder while minimizing spatial information loss. Based on explicit 3D inputs, we propose Geometry-Centric Masked Autoencoding (GC-MAE), a dual-objective self-supervised framework that reconstructs the current point cloud while predicting its future geometric evolution. This formulation allows the 2D vision encoder to internalize both 3D structure and physical dynamics. To fully exploit 3D representations, we further design layer-wise temporal action modeling, which leverages multiple layers of the LLM to collaboratively predict action chunks, enabling temporally consistent predictions. Across 22 simulated tasks and 8 real-world manipulation tasks, Lift3D-VLA achieves 10.8% and 11.1% higher mean success rates on MetaWorld and RLBench than the best-performing prior VLA methods, and outperforms the strongest real-world baseline by 4 percentage points, while exhibiting stronger generalization to out-of-distribution perturbations.