GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments

📄 arXiv: 2609.21948v1 📥 PDF

作者: Yichen Liu, Puzhen Yuan, Xiang Zhu, Yanjiang Guo, Jianyu Chen

分类: cs.RO, cs.CV

发布日期: 2026-09-18

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GALA框架以解决多体现数据中的动作表示问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 潜在动作模型 几何运动表示 跨体现学习 细粒度动作识别 机器人操作 多模态学习

📋 核心要点

  1. 现有的潜在动作模型在捕捉细粒度末端效应器运动方面存在不足，尤其是在多体现数据中。
  2. GALA框架通过引入3D几何运动和统一末端效应器运动表示，增强了潜在动作的表达能力。
  3. 实验结果显示，GALA在细粒度动作探测和跨体现检索中取得了显著提升，成功率达到68.3%和75.5%。

📝 摘要（中文）

从多体现数据中学习大规模的视觉-语言-动作（VLA）模型仍然面临挑战，尤其是在不同末端效应器的异构动作空间下。尽管潜在动作模型（LAMs）能够从多样的视频数据中学习与体现无关的动作表示，但现有的基于图像的LAMs往往无法捕捉到细粒度的末端效应器关节运动，尤其是人类和灵巧机器人手指级别的几何变化。为了解决这一限制，本文提出了GALA，一个几何感知的潜在动作建模框架，通过引入3D末端效应器几何运动来增强基于图像的潜在动作。通过引入统一末端效应器运动表示（UEMR），GALA在保留细粒度运动信息的同时，提高了潜在动作的跨体现泛化能力。实验结果表明，GALA在多体现数据的VLA预训练中表现出色。

🔬 方法详解

问题定义：本文旨在解决在多体现数据中学习视觉-语言-动作模型时，现有方法无法有效捕捉细粒度末端效应器运动的问题。现有的基于图像的潜在动作模型在处理复杂的手部动作时表现不足，尤其是无法捕捉到手指级别的几何变化。

核心思路：GALA框架的核心思路是将图像基础的潜在动作与3D末端效应器几何运动相结合，通过引入统一末端效应器运动表示（UEMR），在保留细粒度运动信息的同时，增强跨体现的泛化能力。

技术框架：GALA的整体架构包括两个主要模块：视觉潜在动作模块和几何潜在动作模块。视觉潜在动作模块负责捕捉场景级动态，而几何潜在动作模块则专注于捕捉细粒度的末端效应器关节运动。

关键创新：GALA的关键创新在于引入了统一末端效应器运动表示（UEMR），该表示能够有效整合细粒度运动信息与共享语义，从而提升跨体现的泛化能力。这一设计与现有方法的本质区别在于其对几何信息的重视。

关键设计：在网络结构方面，GALA采用了多层次的特征提取机制，并设计了特定的损失函数以平衡视觉和几何信息的融合。此外，参数设置经过精细调整，以确保模型在多体现数据上的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GALA在细粒度动作探测和跨体现检索任务中表现出色，RoboCasa-GR1成功率达到68.3%，而在真实世界场景中的成功率更是高达75.5%。这些结果表明，GALA在多体现数据的VLA预训练中具有显著的效果提升。

🎯 应用场景

GALA框架在机器人操作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提升对细粒度动作的理解，GALA可以帮助机器人更好地执行复杂任务，并增强人机协作的自然性和效率。未来，该研究有望推动多模态学习和智能系统的发展。

📄 摘要（原文）

Learning large-scale vision-language-action (VLA) models from multi-embodiment datasets remains challenging due to heterogeneous action spaces across end effectors. Although latent action models (LAMs) can learn embodiment-agnostic action representations from diverse video data, existing image-based LAMs often fail to capture fine-grained end-effector articulation, particularly finger-level geometric changes in human and dexterous robot hands. To address this limitation, we propose GALA, a Geometry-Aware Latent-Action modeling framework that augments image-based latent actions with 3D end-effector geometric motion. However, naively incorporating point clouds yields fine-grained action representations with limited shared semantics, hindering cross-embodiment pretraining. To address this issue, we introduce the Unified End-effector Motion Representation (UEMR), which preserves fine-grained motion information while improving the cross-embodiment generalizability of latent actions. Building upon UEMR, GALA combines visual latent actions that capture scene-level dynamics with geometric latent actions that capture shared fine-grained end-effector articulation, providing effective supervision for VLA pretraining from multi-embodiment data, including action-free ego-centric human videos. Experiments on fine-grained motion probing, cross-embodiment retrieval, and downstream VLA evaluation demonstrate GALA's effectiveness in modeling generalizable fine-grained motions across embodiments, achieving 68.3% RoboCasa-GR1 success rate and 75.5% real-world success rate. Code, appendix, and demos are available at https://puzhenyuan.github.io/GALA-website/.