GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models
作者: Qinfan Zhang, Yifan Luo, Haoyuan Shi, Guanlin Liu, Han Dong, Haozhe Shan, Yong Dai, Xiangcong Ren, Xiaozhu Ju
分类: cs.CV
发布日期: 2026-10-21
💡 一句话要点
提出GeoMem-VLA以解决机器人操作中的3D场景理解问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 3D场景理解 几何信息 机器人操作 时间记忆 动作生成 深度学习 多模态融合
📋 核心要点
- 现有的视觉-语言-动作模型主要依赖2D表示，缺乏对3D几何结构的有效利用，导致在复杂任务中的表现不足。
- GeoMem-VLA框架通过将3D监督内化为几何标记，并将其作为时间记忆进行动作生成，提供了一种新的解决方案。
- 实验结果显示，GeoMem-VLA在多个基准测试中表现优异，尤其是在LIBERO和RoboTwin任务上，成功率显著提升。
📝 摘要（中文）
几何结构对于机器人操作和理解3D世界至关重要。大多数视觉-语言-动作（VLA）模型依赖于当前观察的2D表示，而几何感知方法通常需要额外的3D信息。然而，独立推断的几何信息往往被丢弃，而不是积累成持久的任务表示。我们的关键见解是，动作生成需要一个紧凑的、与任务相关的几何抽象，可以持续更新，而不是在每一步都进行完整的3D重建。我们提出了GeoMem-VLA，一个将显式3D监督内化为专用几何标记的VLA框架，并将其作为时间记忆用于动作生成。在训练过程中，一个冻结的几何基础模型通过几何流匹配目标监督可学习的GeoPlan标记。这些标记与观察表示的记忆相结合，历史信息被检索并与当前观察自适应融合。推理时，策略检索历史表示并与当前工作表示融合以预测动作，而无需调用3D教师或显式重建场景。经过基准特定的下游适应，GeoMem-VLA在LIBERO上实现了98.9%的平均成功率，在RoboTwin的干净/随机设置下分别为91.10%和91.24%。在五个真实世界任务中，GeoMem-VLA实现了78.0%的平均成功率。这些结果表明，内化和记忆3D场景理解是机器人控制的有前景的方法。
🔬 方法详解
问题定义：本论文旨在解决现有视觉-语言-动作模型在3D场景理解中的不足，特别是如何有效利用几何信息进行机器人操作。现有方法往往忽视了几何信息的积累，导致任务表现不佳。
核心思路：论文提出的核心思路是通过GeoMem-VLA框架内化显式的3D监督，将几何信息转化为可学习的几何标记，并将其作为时间记忆进行动作生成。这种设计旨在提供一个紧凑且与任务相关的几何抽象，能够在任务执行过程中持续更新。
技术框架：GeoMem-VLA的整体架构包括几个主要模块：首先，使用冻结的几何基础模型对GeoPlan标记进行监督；其次，历史观察表示与当前观察自适应融合；最后，在推理阶段，策略通过检索历史表示与当前表示融合以预测动作。
关键创新：GeoMem-VLA的主要创新在于将几何信息内化为时间记忆，而不是在每一步都进行完整的3D重建。这一方法与传统的几何感知方法本质上不同，提供了更高效的任务相关几何抽象。
关键设计：在技术细节上，论文采用了几何流匹配目标作为损失函数，确保GeoPlan标记能够有效学习。此外，模型的网络结构设计允许历史信息的有效检索与融合，增强了任务执行的连续性和准确性。
🖼️ 关键图片
📊 实验亮点
GeoMem-VLA在多个基准测试中表现出色，LIBERO任务的平均成功率达到98.9%，在RoboTwin的干净和随机设置下分别为91.10%和91.24%。在五个真实世界任务中，成功率为78.0%，显示出该方法在实际应用中的有效性和可靠性。
🎯 应用场景
GeoMem-VLA的研究成果在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过有效内化3D场景理解，该方法能够提升机器人在复杂环境中的操作能力，推动智能机器人技术的进步和实际应用。
📄 摘要（原文）
Geometric structure is essential for robotic manipulation and understanding the 3D world. Most VLA models rely on 2D representations of current observations, while geometry-aware approaches often require additional 3D information. However, geometry inferred independently from individual observations is often discarded rather than accumulated into a persistent task representation. Our key insight is that action generation needs a compact, task-relevant geometric abstraction that can be continuously updated, rather than a complete, renderable 3D reconstruction at every step. We introduce GeoMem-VLA, a VLA framework that internalizes explicit 3D supervision into dedicated geometric tokens and maintains them as temporal memory for action generation, without directly aligning the VLM's native visual embeddings with the teacher feature space. During training, a frozen geometry foundation model supervises learnable GeoPlan tokens through a geometric flow-matching objective over the current scene point map and future end-effector tracks. These tokens are integrated with the memory of observation representations, where historical information is retrieved, adaptively fused with current observations, and consolidated to retain event frames as the task progresses. At inference, the policy retrieves historical representations and fuses them with the current working representation to predict actions, without invoking the 3D teacher or explicitly reconstructing the scene. After benchmark-specific downstream adaptation, GeoMem-VLA achieves 98.9% average success on LIBERO and 91.10% / 91.24% on RoboTwin's clean/randomized settings. Across five real-world tasks, GeoMem-VLA achieves 78.0% average success. These results suggest that internalizing and remembering 3D scene understanding is a promising approach to robot control.