CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

📄 arXiv: 2505.04999v1 📥 PDF

作者: Anthony Liang, Pavel Czempin, Matthew Hong, Yutai Zhou, Erdem Biyik, Stephen Tu

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-05-08

备注: Latent Action Models, Self-supervised Pretraining, Learning from Videos

💡 一句话要点

CLAM：用于从无标签演示中学习机器人策略的连续潜在动作模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人学习 模仿学习 无监督学习 潜在动作模型 连续控制 机器人操作 变分自编码器

📋 核心要点

  1. 现有模仿学习方法依赖大量带标签的专家数据，限制了其在机器人学习中的应用。
  2. CLAM通过学习连续潜在动作空间，并联合训练动作解码器，实现了从无标签数据中学习。
  3. 实验表明，CLAM在多个连续控制任务中显著优于现有方法，成功率提升显著。

📝 摘要（中文）

模仿学习训练机器人策略需要大量带动作标签的专家演示数据，这限制了训练数据的规模。一个有希望的解决方案是利用丰富的无标签观测数据（例如，视频演示）以无监督的方式学习潜在动作标签。然而，现有方法在需要精细动作的复杂机器人任务中表现不佳。本文提出了连续潜在动作模型（CLAM），它包含两个关键要素：(a) 使用连续潜在动作标签而不是离散表示；(b) 联合训练一个动作解码器，以确保潜在动作空间能够通过相对较少的带标签样本轻松地与真实动作相关联。重要的是，带标签的样本可以从非最优数据中收集，使得CLAM能够在没有任何带动作标签的专家数据的情况下学习高性能策略。在DMControl（运动）和MetaWorld（操作）的连续控制基准测试以及真实的WidowX机器人手臂上，CLAM显著优于现有方法，任务成功率比最佳基线提高了2-3倍。

🔬 方法详解

问题定义：现有模仿学习方法需要大量带动作标签的专家数据，获取成本高昂，限制了训练数据的规模。现有无监督学习潜在动作的方法在复杂机器人任务中表现不佳，难以学习精细的动作控制。

核心思路：本文的核心思路是利用连续的潜在动作空间来表示机器人的动作，并联合训练一个动作解码器，将潜在动作空间映射到实际的机器人动作。通过这种方式，可以从大量的无标签数据中学习到有用的动作表示，并使用少量的带标签数据来微调动作解码器，从而实现高效的模仿学习。

技术框架：CLAM包含三个主要模块：1) 编码器：将无标签的观测数据编码到潜在动作空间；2) 潜在动作空间：使用连续的向量来表示机器人的动作；3) 解码器：将潜在动作向量解码为实际的机器人动作。训练过程包括两个阶段：首先，使用无标签数据训练编码器和潜在动作空间，使其能够捕捉到观测数据中的动作信息；然后，使用少量的带标签数据微调解码器，使其能够将潜在动作向量映射到实际的机器人动作。

关键创新：CLAM的关键创新在于使用连续的潜在动作空间来表示机器人的动作，而不是离散的动作标签。这种连续表示能够更好地捕捉到动作的细微变化，从而提高机器人在复杂任务中的表现。此外，联合训练动作解码器可以确保潜在动作空间能够很容易地与真实动作相关联，从而减少了对带标签数据的需求。

关键设计：CLAM使用变分自编码器（VAE）来学习潜在动作空间。编码器和解码器都使用深度神经网络来实现。损失函数包括重构损失和KL散度损失，用于保证潜在动作空间的平滑性和完整性。动作解码器的微调使用监督学习方法，损失函数为均方误差（MSE）。具体网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLAM在DMControl和MetaWorld等连续控制基准测试中显著优于现有方法。在真实的WidowX机器人手臂上，CLAM的任务成功率比最佳基线提高了2-3倍。这些结果表明，CLAM是一种有效的从无标签演示中学习机器人策略的方法。

🎯 应用场景

CLAM具有广泛的应用前景，可以应用于各种机器人学习任务，例如机器人操作、机器人导航和自动驾驶。通过利用大量的无标签数据，CLAM可以显著降低机器人学习的成本，并提高机器人在复杂环境中的适应能力。此外，CLAM还可以用于生成机器人的动作序列，从而实现更高级的机器人行为。

📄 摘要（原文）

Learning robot policies using imitation learning requires collecting large amounts of costly action-labeled expert demonstrations, which fundamentally limits the scale of training data. A promising approach to address this bottleneck is to harness the abundance of unlabeled observations-e.g., from video demonstrations-to learn latent action labels in an unsupervised way. However, we find that existing methods struggle when applied to complex robot tasks requiring fine-grained motions. We design continuous latent action models (CLAM) which incorporate two key ingredients we find necessary for learning to solve complex continuous control tasks from unlabeled observation data: (a) using continuous latent action labels instead of discrete representations, and (b) jointly training an action decoder to ensure that the latent action space can be easily grounded to real actions with relatively few labeled examples. Importantly, the labeled examples can be collected from non-optimal play data, enabling CLAM to learn performant policies without access to any action-labeled expert data. We demonstrate on continuous control benchmarks in DMControl (locomotion) and MetaWorld (manipulation), as well as on a real WidowX robot arm that CLAM significantly outperforms prior state-of-the-art methods, remarkably with a 2-3x improvement in task success rate compared to the best baseline. Videos and code can be found at clamrobot.github.io.