GeoAware-VLA: Implicit Geometry Aware Vision-Language-Action Model

📄 arXiv: 2509.14117v3 📥 PDF

作者: Ali Abouzeid, Malak Mansour, Zezhou Sun, Dezhen Song

分类: cs.RO

发布日期: 2025-09-17 (更新: 2025-11-07)

备注: Under Review, Project Page https://alisharey.github.io/GeoAware-VLA/

💡 一句话要点

GeoAware-VLA：利用几何先验提升VLA模型视角泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 几何先验 视角泛化 机器人学习 预训练模型

📋 核心要点

  1. VLA模型在视角泛化方面存在不足，难以从2D图像中准确推断3D几何信息。
  2. GeoAware-VLA利用预训练的几何视觉模型提取几何特征，并用可训练投影层适配策略解码器。
  3. 实验表明，GeoAware-VLA在模拟和真实机器人环境中均显著提升了视角泛化能力。

📝 摘要（中文）

视觉-语言-动作(VLA)模型常常难以泛化到新的相机视角，这源于它们难以从2D图像中推断出鲁棒的3D几何信息。我们提出了GeoAware-VLA，一种简单而有效的方法，通过将强几何先验集成到视觉骨干网络中来增强视角不变性。我们没有训练视觉编码器或依赖显式的3D数据，而是利用一个冻结的、预训练的几何视觉模型作为特征提取器。然后，一个可训练的投影层调整这些富含几何信息的特征，以供策略解码器使用，从而减轻了它从头开始学习3D一致性的负担。通过在LIBERO基准子集上进行的大量评估，我们表明GeoAware-VLA在零样本泛化到新的相机姿态方面取得了显著的改进，在模拟中将成功率提高了2倍以上。至关重要的是，这些优势转化为物理世界；我们的模型在真实机器人上表现出显著的性能提升，尤其是在从看不见的相机角度进行评估时。我们的方法在连续和离散动作空间中都证明是有效的，突出了鲁棒的几何基础是创建更具泛化能力的机器人代理的关键组成部分。

🔬 方法详解

问题定义：现有的视觉-语言-动作(VLA)模型在面对新的相机视角时，泛化能力较差。这是因为这些模型难以从2D图像中学习到鲁棒的3D几何信息，导致其对视角变化敏感。现有方法通常需要从头训练视觉编码器，或者依赖显式的3D数据，计算成本高昂且效果有限。

核心思路：GeoAware-VLA的核心思路是利用预训练的几何视觉模型，提取图像中蕴含的丰富几何特征，并将这些特征融入到VLA模型的视觉骨干网络中。通过这种方式，模型可以直接利用已有的几何知识，而无需从头学习3D一致性，从而提高其对视角变化的鲁棒性。

技术框架：GeoAware-VLA的整体框架包括三个主要模块：预训练的几何视觉模型、可训练的投影层和策略解码器。首先，使用预训练的几何视觉模型（例如，基于深度估计或三维重建的模型）提取输入图像的几何特征。然后，通过一个可训练的投影层，将这些几何特征映射到策略解码器可以理解的特征空间。最后，策略解码器根据投影后的特征，生成相应的动作指令。

关键创新：GeoAware-VLA的关键创新在于将预训练的几何视觉模型作为特征提取器，直接为VLA模型提供几何先验知识。这种方法避免了从头训练视觉编码器或依赖显式3D数据，大大降低了计算成本，并提高了模型的泛化能力。与现有方法相比，GeoAware-VLA能够更有效地利用已有的几何知识，从而更好地适应新的相机视角。

关键设计：GeoAware-VLA的关键设计包括选择合适的预训练几何视觉模型，以及设计有效的投影层。预训练模型的选择取决于具体的任务和数据集，可以选择基于深度估计、三维重建或SLAM的模型。投影层可以使用简单的线性层或更复杂的神经网络结构，其目标是将几何特征映射到策略解码器可以理解的特征空间。损失函数通常包括策略学习的损失函数（例如，强化学习中的奖励函数）以及可选的几何一致性损失函数。

📊 实验亮点

GeoAware-VLA在LIBERO基准测试中取得了显著的性能提升。在模拟环境中，该模型在零样本泛化到新的相机姿态方面，成功率提高了2倍以上。更重要的是，这些优势也成功地转化到了真实机器人环境中，尤其是在从未见过的相机角度进行评估时，性能提升尤为明显。这些结果表明，GeoAware-VLA能够有效地提高VLA模型在真实世界中的泛化能力。

🎯 应用场景

GeoAware-VLA具有广泛的应用前景，例如机器人导航、自动驾驶、虚拟现实和增强现实等领域。该方法可以提高机器人在复杂环境中的自主性和适应性，使其能够更好地理解和响应周围环境的变化。此外，GeoAware-VLA还可以应用于虚拟现实和增强现实应用中，提高虚拟场景的真实感和交互性。

📄 摘要（原文）

Vision-Language-Action (VLA) models often fail to generalize to novel camera viewpoints, a limitation stemming from their difficulty in inferring robust 3D geometry from 2D images. We introduce GeoAware-VLA, a simple yet effective approach that enhances viewpoint invariance by integrating strong geometric priors into the vision backbone. Instead of training a visual encoder or relying on explicit 3D data, we leverage a frozen, pretrained geometric vision model as a feature extractor. A trainable projection layer then adapts these geometrically-rich features for the policy decoder, relieving it of the burden of learning 3D consistency from scratch. Through extensive evaluations on LIBERO benchmark subsets, we show GeoAware-VLA achieves substantial improvements in zero-shot generalization to novel camera poses, boosting success rates by over 2x in simulation. Crucially, these benefits translate to the physical world; our model shows a significant performance gain on a real robot, especially when evaluated from unseen camera angles. Our approach proves effective across both continuous and discrete action spaces, highlighting that robust geometric grounding is a key component for creating more generalizable robotic agents.