Noise-conditioned Energy-based Annealed Rewards (NEAR): A Generative Framework for Imitation Learning from Observation

📄 arXiv: 2501.14856v2 📥 PDF

作者: Anish Abhijit Diwan, Julen Urain, Jens Kober, Jan Peters

分类: cs.RO, cs.AI

发布日期: 2025-01-24 (更新: 2025-02-12)

备注: Accepted as a conference paper at the International Conference on Learning Representations (ICLR) 2025. Revised to include review feedback

💡 一句话要点

提出基于噪声条件能量模型的退火奖励模仿学习框架，解决机器人运动策略学习问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 模仿学习 能量模型 强化学习 机器人运动控制 去噪分数匹配

📋 核心要点

  1. 现有对抗模仿学习方法存在优化挑战，难以学习复杂的机器人运动策略，尤其是在仅有状态信息的情况下。
  2. NEAR算法通过构建扰动数据分布并学习能量函数，将其作为奖励函数，利用强化学习模仿专家策略。
  3. 实验表明，NEAR算法在人形运动和武术等任务上，性能可与对抗运动先验（AMP）媲美，且避免了优化难题。

📝 摘要（中文）

本文提出了一种新的基于能量的生成模型模仿学习框架，该框架能够通过仅包含状态信息的专家运动轨迹学习复杂的、依赖物理规律的机器人运动策略。我们的算法，称为噪声条件能量退火奖励（NEAR），构建了专家运动数据分布的多个扰动版本，并使用去噪分数匹配学习数据分布能量函数的平滑且定义良好的表示。我们建议使用这些学习到的能量函数作为奖励函数，通过强化学习来学习模仿策略。我们还提出了一种策略，用于逐步切换学习到的能量函数，确保学习到的奖励在策略生成的样本流形中始终是良好定义的。我们在复杂的人形任务（如运动和武术）上评估了我们的算法，并将其与仅状态的对抗模仿学习算法（如对抗运动先验（AMP））进行了比较。我们的框架规避了对抗模仿学习技术的优化挑战，并在多个模仿设置中的多个定量指标上产生了与AMP相当的结果。

🔬 方法详解

问题定义：论文旨在解决仅通过状态信息模仿学习复杂机器人运动策略的问题。现有对抗模仿学习方法，如AMP，在优化过程中面临挑战，难以保证策略的稳定性和收敛性。尤其是在高维状态空间和复杂的物理交互环境中，这些挑战更加突出。

核心思路：论文的核心思路是利用能量模型学习专家轨迹的分布，并将学习到的能量函数作为强化学习的奖励函数。通过引入噪声条件和退火策略，逐步优化奖励函数，引导策略学习模仿专家行为。这种方法避免了直接对抗训练，从而降低了优化难度。

技术框架：NEAR算法包含以下主要阶段：1) 数据扰动：对专家轨迹数据进行加噪处理，生成多个扰动版本的数据分布。2) 能量函数学习：使用去噪分数匹配方法，为每个扰动数据分布学习一个能量函数。3) 奖励函数退火：设计退火策略，逐步切换使用不同的能量函数作为奖励函数，从噪声较大的分布逐渐过渡到原始专家分布。4) 策略学习：使用强化学习算法，基于退火的奖励函数学习模仿策略。

关键创新：NEAR算法的关键创新在于：1) 使用能量模型表示专家轨迹分布，避免了直接建模策略。2) 引入噪声条件和退火策略，平滑了奖励函数的学习过程，提高了策略的稳定性和收敛性。3) 避免了对抗训练，降低了优化难度。

关键设计：在能量函数学习中，使用去噪分数匹配作为损失函数，鼓励能量函数能够准确预测数据分布的梯度。退火策略采用线性或指数衰减的方式，逐步降低噪声水平。强化学习算法可以选择常见的策略梯度方法，如PPO或TRPO。关键参数包括噪声水平、退火速率和强化学习的超参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NEAR算法在复杂的人形运动和武术任务上取得了与AMP相当的性能。在多个定量指标上，NEAR算法与AMP表现接近，同时避免了对抗训练带来的优化挑战。这表明NEAR算法是一种有效的模仿学习方法，尤其适用于难以进行对抗训练的场景。

🎯 应用场景

该研究成果可应用于机器人运动控制、游戏AI、虚拟人物动画等领域。通过模仿学习，机器人可以学习执行复杂的任务，例如人形机器人的运动、武术动作等。该方法还可以用于生成逼真的虚拟人物动画，提高游戏和电影的真实感。未来，该技术有望应用于自动驾驶、医疗机器人等更广泛的领域。

📄 摘要（原文）

This paper introduces a new imitation learning framework based on energy-based generative models capable of learning complex, physics-dependent, robot motion policies through state-only expert motion trajectories. Our algorithm, called Noise-conditioned Energy-based Annealed Rewards (NEAR), constructs several perturbed versions of the expert's motion data distribution and learns smooth, and well-defined representations of the data distribution's energy function using denoising score matching. We propose to use these learnt energy functions as reward functions to learn imitation policies via reinforcement learning. We also present a strategy to gradually switch between the learnt energy functions, ensuring that the learnt rewards are always well-defined in the manifold of policy-generated samples. We evaluate our algorithm on complex humanoid tasks such as locomotion and martial arts and compare it with state-only adversarial imitation learning algorithms like Adversarial Motion Priors (AMP). Our framework sidesteps the optimisation challenges of adversarial imitation learning techniques and produces results comparable to AMP in several quantitative metrics across multiple imitation settings.