Latent Action Pretraining Through World Modeling

📄 arXiv: 2509.18428v1 📥 PDF

作者: Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

分类: cs.RO, cs.CV

发布日期: 2025-09-22

💡 一句话要点

提出LAWM，通过世界建模进行潜在动作预训练，提升机器人操作任务效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 模仿学习 自监督学习 世界建模 潜在动作 视觉语言动作模型 预训练

📋 核心要点

  1. 现有VLA模型依赖大规模人工标注数据集，模型体积大，难以在真实场景部署。
  2. LAWM框架通过世界建模学习视频中的潜在动作表示，实现自监督预训练，无需人工标注。
  3. 实验表明，LAWM在LIBERO基准和真实环境中优于现有方法，且更高效实用。

📝 摘要（中文）

视觉-语言-动作(VLA)模型在学习遵循语言指令的机器人操作任务中越来越受欢迎。最先进的VLA模型，如OpenVLA和$π_{0}$，是在通过遥操作收集的大规模、手动标记的动作数据集上训练的。最近的方法，包括LAPA和villa-X，引入了潜在动作表示，通过对帧之间的抽象视觉变化进行建模，从而能够在未标记的数据集上进行无监督预训练。虽然这些方法已经显示出强大的结果，但它们庞大的模型尺寸使得在现实世界环境中部署具有挑战性。在这项工作中，我们提出了LAWM，一个与模型无关的框架，通过世界建模从未标记的视频数据中学习潜在动作表示，以自监督的方式预训练模仿学习模型。这些视频可以来自机器人录像或人类使用日常物品执行动作的视频。我们的框架旨在有效地跨任务、环境和实体进行迁移。在LIBERO基准和真实环境中，它优于使用真实机器人动作训练的模型和类似的预训练方法，同时对于真实世界环境而言，效率更高且更实用。

🔬 方法详解

问题定义：现有视觉-语言-动作(VLA)模型依赖于大规模人工标注的动作数据集进行训练，这限制了其可扩展性。此外，这些模型通常体积庞大，难以在资源受限的真实机器人应用场景中部署。因此，如何利用无标签数据进行有效预训练，并降低模型复杂度，是当前VLA模型面临的关键问题。

核心思路：LAWM的核心思路是通过世界建模学习视频中的潜在动作表示。具体来说，LAWM学习一个模型来预测给定当前状态和潜在动作的情况下，下一个状态会是什么。通过这种方式，模型可以学习到动作的抽象表示，而无需人工标注。这种自监督学习方法可以利用大量的无标签视频数据，从而提高模型的泛化能力。

技术框架：LAWM框架包含以下主要模块：1) 视频编码器：将输入的视频帧编码成视觉特征向量。2) 潜在动作编码器：将连续的视觉特征向量编码成潜在动作表示。3) 世界模型：基于当前状态和潜在动作，预测下一个状态。4) 损失函数：用于训练世界模型，例如，最小化预测状态和真实状态之间的差异。整个流程是，首先利用视频编码器提取视频帧的特征，然后利用潜在动作编码器将特征编码成潜在动作，接着将当前状态和潜在动作输入到世界模型中，预测下一个状态，最后利用损失函数优化模型参数。

关键创新：LAWM的关键创新在于其模型无关性以及利用世界模型进行潜在动作学习。与以往依赖特定模型结构的预训练方法不同，LAWM可以应用于各种模仿学习模型。通过世界建模，LAWM能够学习到动作的抽象表示，从而实现跨任务、环境和实体的迁移。这种方法避免了对人工标注数据的依赖，降低了训练成本，并提高了模型的泛化能力。

关键设计：LAWM的关键设计包括：1) 使用变分自编码器(VAE)学习潜在动作表示，鼓励学习到的表示具有良好的结构性和可解释性。2) 使用对比学习损失来区分不同的潜在动作，提高动作表示的区分度。3) 使用Transformer网络作为世界模型，捕捉状态之间的长期依赖关系。4) 采用多任务学习策略，同时预测多个未来状态，提高模型的预测精度。

📊 实验亮点

LAWM在LIBERO基准测试中，相较于使用真实机器人动作训练的模型，以及其他预训练方法，取得了显著的性能提升。在真实机器人实验中，LAWM也表现出良好的泛化能力和鲁棒性。此外，LAWM的模型尺寸相对较小，更易于在资源受限的机器人平台上部署。具体提升幅度未知。

🎯 应用场景

LAWM框架可广泛应用于机器人操作任务，例如家庭服务机器人、工业自动化机器人等。通过预训练，机器人可以更快地适应新的任务和环境，降低开发成本。此外，LAWM还可以应用于虚拟现实、游戏等领域，生成更逼真的动作动画，提升用户体验。未来，LAWM有望成为机器人通用技能学习的重要基石。

📄 摘要（原文）

Vision-Language-Action (VLA) models have gained popularity for learning robotic manipulation tasks that follow language instructions. State-of-the-art VLAs, such as OpenVLA and $π_{0}$, were trained on large-scale, manually labeled action datasets collected through teleoperation. More recent approaches, including LAPA and villa-X, introduce latent action representations that enable unsupervised pretraining on unlabeled datasets by modeling abstract visual changes between frames. Although these methods have shown strong results, their large model sizes make deployment in real-world settings challenging. In this work, we propose LAWM, a model-agnostic framework to pretrain imitation learning models in a self-supervised way, by learning latent action representations from unlabeled video data through world modeling. These videos can be sourced from robot recordings or videos of humans performing actions with everyday objects. Our framework is designed to be effective for transferring across tasks, environments, and embodiments. It outperforms models trained with ground-truth robotics actions and similar pretraining methods on the LIBERO benchmark and real-world setup, while being significantly more efficient and practical for real-world settings.