IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation

📄 arXiv: 2502.12371v2 📥 PDF

作者: Krishan Rana, Robert Lee, David Pershouse, Niko Suenderhauf

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-02-17 (更新: 2025-03-11)

备注: Videos and code are available at https://imle-policy.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出IMLE Policy，通过隐式最大似然估计实现快速且高效的视觉运动策略学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 隐式最大似然估计 行为克隆 机器人操作 低数据学习

📋 核心要点

  1. 模仿学习方法，特别是基于扩散模型的生成模型，虽然能捕捉复杂动作分布，但需要大量数据和多步推理，限制了其在数据收集成本高昂的机器人领域的应用。
  2. IMLE Policy基于隐式最大似然估计，通过简单的生成器架构实现单步动作生成，从而在低数据量下高效学习复杂行为。
  3. 实验结果表明，IMLE Policy在数据量减少38%的情况下，性能与现有方法相当，且推理速度比Diffusion Policy快97.3%。

📝 摘要（中文）

本文提出了一种名为IMLE Policy的新型行为克隆方法，该方法基于隐式最大似然估计（IMLE）。IMLE Policy在低数据量的情况下表现出色，能够从最少的演示中有效地学习，并且平均只需要基线方法38%的数据量即可达到相同的性能，从而学习复杂的多模态行为。其简单的基于生成器的架构能够实现单步动作生成，与Diffusion Policy相比，推理速度提高了97.3%，同时优于单步Flow Matching。我们在模拟和真实环境中的各种操作任务中验证了该方法，展示了其在数据约束下捕获复杂行为的能力。项目页面提供了视频和代码：https://imle-policy.github.io/。

🔬 方法详解

问题定义：论文旨在解决模仿学习中数据效率和推理速度的问题。现有的基于生成模型的模仿学习方法，如Diffusion Policy，虽然能够学习复杂的多模态动作分布，但需要大量的训练数据和多步的推理过程，这在机器人等数据收集成本高昂且计算资源有限的场景下是难以接受的。

核心思路：论文的核心思路是利用隐式最大似然估计（IMLE）来训练策略。IMLE通过最小化生成模型输出与专家数据之间的差异来学习策略，避免了显式地建模复杂的动作分布，从而降低了对数据的需求，并允许使用简单的生成器架构进行单步动作生成。

技术框架：IMLE Policy的整体框架包括一个生成器网络，该网络以状态作为输入，输出动作。训练过程中，生成器网络的输出与专家演示的动作进行比较，通过IMLE损失函数进行优化。推理时，给定当前状态，生成器网络直接输出动作，无需多步迭代。

关键创新：IMLE Policy的关键创新在于将隐式最大似然估计应用于模仿学习，从而实现了在低数据量下的高效学习和快速推理。与传统的行为克隆方法相比，IMLE能够更好地捕捉多模态动作分布。与基于扩散模型的模仿学习方法相比，IMLE Policy只需要单步动作生成，大大提高了推理速度。

关键设计：IMLE Policy的关键设计包括生成器网络的结构和IMLE损失函数的选择。生成器网络可以使用简单的神经网络结构，如多层感知机。IMLE损失函数可以使用各种距离度量，如L1距离或L2距离。论文中可能还涉及对抗训练等技术来进一步提高生成器网络的性能。具体的参数设置和网络结构需要在论文中查找。

📊 实验亮点

IMLE Policy在模拟和真实环境中的操作任务中表现出色。实验结果表明，IMLE Policy平均只需要基线方法38%的数据量即可达到相同的性能。此外，IMLE Policy的推理速度比Diffusion Policy提高了97.3%，同时优于单步Flow Matching。

🎯 应用场景

IMLE Policy适用于各种机器人操作任务，尤其是在数据收集成本高昂或计算资源有限的场景下。例如，它可以用于训练机器人在复杂环境中执行抓取、放置、装配等任务。该方法还可以应用于自动驾驶、游戏AI等领域，提高智能体在复杂环境中的决策能力。

📄 摘要（原文）

Recent advances in imitation learning, particularly using generative modelling techniques like diffusion, have enabled policies to capture complex multi-modal action distributions. However, these methods often require large datasets and multiple inference steps for action generation, posing challenges in robotics where the cost for data collection is high and computation resources are limited. To address this, we introduce IMLE Policy, a novel behaviour cloning approach based on Implicit Maximum Likelihood Estimation (IMLE). IMLE Policy excels in low-data regimes, effectively learning from minimal demonstrations and requiring 38\% less data on average to match the performance of baseline methods in learning complex multi-modal behaviours. Its simple generator-based architecture enables single-step action generation, improving inference speed by 97.3\% compared to Diffusion Policy, while outperforming single-step Flow Matching. We validate our approach across diverse manipulation tasks in simulated and real-world environments, showcasing its ability to capture complex behaviours under data constraints. Videos and code are provided on our project page: https://imle-policy.github.io/.