Videos are Sample-Efficient Supervisions: Behavior Cloning from Videos via Latent Representations
作者: Xin Liu, Haoran Li, Dongbin Zhao
分类: cs.LG
发布日期: 2025-12-25
期刊: NeurIPS 2025
💡 一句话要点
提出BCV-LR框架，通过视频中的潜在表征实现高效的行为克隆，解决交互样本不足的问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 行为克隆 视频学习 潜在表征 自监督学习
📋 核心要点
- 现有模仿学习方法在视觉输入复杂、缺乏动作或奖励信号以及交互步骤有限的情况下，难以从视频中高效学习。
- BCV-LR通过自监督学习提取视频中的潜在动作表征，并利用动态模型预测帧间动作，实现高效的行为克隆。
- 实验表明，BCV-LR在多个视觉任务中，仅需少量交互即可超越现有模仿学习和强化学习方法，实现专家级性能。
📝 摘要（中文）
本文提出了一种新颖的、无监督的、且样本高效的框架，用于从视频中进行模仿学习（ILV），名为基于潜在表征的行为克隆（BCV-LR）。BCV-LR通过自监督任务从高维视频输入中提取与动作相关的潜在特征，然后利用基于动态的无监督目标来预测连续帧之间的潜在动作。预训练的潜在动作经过微调，并高效地与在线收集的交互数据对齐到真实动作空间，用于策略行为克隆。反过来，克隆的策略丰富了智能体的经验，用于进一步的潜在动作微调，从而实现高度样本高效的迭代策略改进。在包括离散控制和连续控制的一系列具有挑战性的视觉任务上进行了大量实验。BCV-LR仅通过少量交互就能实现有效的（甚至在某些任务上达到专家级的）策略性能，在24/28个任务中，其样本效率超过了最先进的ILV基线和强化学习方法（提供环境奖励）。据我们所知，这项工作首次证明了视频可以支持极其样本高效的视觉策略学习，而无需访问任何其他专家监督。
🔬 方法详解
问题定义：论文旨在解决从视频中进行模仿学习（ILV）时，由于视觉输入的高维度、缺乏动作或奖励信号以及交互样本的限制，导致学习效率低下的问题。现有方法通常需要大量的交互样本或额外的专家监督，难以实现样本高效的策略学习。
核心思路：论文的核心思路是通过学习视频中的潜在动作表征，将高维视觉输入映射到低维的动作空间，从而简化学习过程。通过自监督学习和动态模型预测，无需显式的动作标签即可学习潜在动作，然后通过少量在线交互将潜在动作与真实动作空间对齐。
技术框架：BCV-LR框架包含以下主要阶段：1) 潜在表征学习：通过自监督任务（例如，预测未来帧）从视频中提取与动作相关的潜在特征。2) 潜在动作预测：利用基于动态的无监督目标，预测连续帧之间的潜在动作。3) 策略行为克隆：将预训练的潜在动作微调并对齐到真实动作空间，用于策略行为克隆。4) 迭代策略改进：克隆的策略用于丰富智能体的经验，进一步微调潜在动作，从而实现迭代策略改进。
关键创新：该论文的关键创新在于提出了一种完全无监督的、样本高效的ILV框架，该框架无需任何专家监督，仅通过视频即可学习有效的策略。通过学习视频中的潜在动作表征，有效地降低了学习难度，并实现了高度样本高效的策略学习。
关键设计：论文中关键的设计包括：1) 使用自监督学习方法提取视频中的潜在特征，例如使用变分自编码器（VAE）或对比学习。2) 设计基于动态模型的无监督损失函数，用于预测连续帧之间的潜在动作。3) 使用行为克隆方法将潜在动作与真实动作空间对齐，并进行策略学习。4) 通过迭代策略改进，不断优化潜在动作表征和策略性能。具体的网络结构和参数设置在论文中有详细描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BCV-LR在24/28个视觉任务中，其样本效率超过了最先进的ILV基线和强化学习方法（提供环境奖励）。在某些任务上，BCV-LR仅通过少量交互就能实现专家级的策略性能。这些结果表明，BCV-LR能够有效地从视频中学习策略，并具有很高的样本效率。
🎯 应用场景
BCV-LR框架可应用于机器人控制、自动驾驶、游戏AI等领域，尤其适用于难以获取大量交互样本或专家数据的场景。该方法能够利用现有的视频数据进行策略学习，降低了学习成本，加速了智能体的开发和部署。未来，该方法可以扩展到多模态数据融合、复杂环境建模等方向，进一步提升策略学习的效率和泛化能力。
📄 摘要（原文）
Humans can efficiently extract knowledge and learn skills from the videos within only a few trials and errors. However, it poses a big challenge to replicate this learning process for autonomous agents, due to the complexity of visual input, the absence of action or reward signals, and the limitations of interaction steps. In this paper, we propose a novel, unsupervised, and sample-efficient framework to achieve imitation learning from videos (ILV), named Behavior Cloning from Videos via Latent Representations (BCV-LR). BCV-LR extracts action-related latent features from high-dimensional video inputs through self-supervised tasks, and then leverages a dynamics-based unsupervised objective to predict latent actions between consecutive frames. The pre-trained latent actions are fine-tuned and efficiently aligned to the real action space online (with collected interactions) for policy behavior cloning. The cloned policy in turn enriches the agent experience for further latent action finetuning, resulting in an iterative policy improvement that is highly sample-efficient. We conduct extensive experiments on a set of challenging visual tasks, including both discrete control and continuous control. BCV-LR enables effective (even expert-level on some tasks) policy performance with only a few interactions, surpassing state-of-the-art ILV baselines and reinforcement learning methods (provided with environmental rewards) in terms of sample efficiency across 24/28 tasks. To the best of our knowledge, this work for the first time demonstrates that videos can support extremely sample-efficient visual policy learning, without the need to access any other expert supervision.