Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations

📄 arXiv: 2509.15981v2 📥 PDF

作者: Yujie Zhu, Charles A. Hepburn, Matthew Thorpe, Giovanni Montana

分类: cs.LG, cs.AI, cs.RO, stat.ML

发布日期: 2025-09-19 (更新: 2025-10-31)

🔗 代码/项目: GITHUB

💡 一句话要点

SPReD：基于不确定性的平滑策略正则化，提升少样本演示强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模仿学习 不确定性量化 策略正则化 机器人控制

📋 核心要点

  1. 在稀疏奖励强化学习中，如何有效利用少量演示数据是一个挑战，现有方法难以准确判断何时模仿演示。
  2. SPReD通过集成方法建模Q值分布，量化演示和策略动作的不确定性，并据此平滑地调节模仿程度。
  3. 实验表明，SPReD在多个机器人任务中显著优于现有方法，尤其在复杂任务中性能提升高达14倍。

📝 摘要（中文）

在稀疏奖励的强化学习中，演示数据可以加速学习，但如何决定何时模仿演示仍然是一个挑战。我们提出了基于演示的平滑策略正则化（SPReD）框架，它解决了核心问题：智能体应该何时模仿演示，何时遵循自己的策略？SPReD使用集成方法显式地建模演示和策略动作的Q值分布，量化不确定性以进行比较。我们开发了两种互补的、感知不确定性的方法：一种概率方法，用于估计演示优越性的可能性；以及一种基于优势的方法，通过统计显著性来缩放模仿。与进行二元模仿决策的现有方法（例如Q-filter）不同，SPReD应用连续的、与不确定性成比例的正则化权重，从而降低了训练期间的梯度方差。尽管计算简单，SPReD在八个机器人任务的实验中取得了显著的收益，在复杂的任务中，其性能优于现有方法高达14倍，同时保持了对演示质量和数量的鲁棒性。我们的代码可在https://github.com/YujieZhu7/SPReD 获取。

🔬 方法详解

问题定义：在稀疏奖励的强化学习环境中，利用少量演示数据加速学习是一个关键问题。现有的方法，例如Q-filter，通常采用二元决策方式，即要么完全模仿演示，要么完全不模仿，这种方式容易引入偏差，并且对演示数据的质量和数量敏感。此外，简单地模仿演示策略可能导致策略坍塌，阻碍智能体探索更优的策略。

核心思路：SPReD的核心思路是利用不确定性来平滑地调节模仿演示的程度。通过量化智能体自身策略和演示策略的不确定性，SPReD能够更智能地决定何时以及在多大程度上模仿演示。具体来说，当智能体对自身策略的Q值估计不确定时，它会更多地依赖演示数据；反之，当智能体对自身策略有信心时，它会更多地探索自己的策略。这种平滑的正则化方式可以降低梯度方差，提高学习的稳定性和效率。

技术框架：SPReD的整体框架包括以下几个主要模块：1) Q值估计模块：使用集成方法（例如，Q-ensemble）来估计智能体自身策略和演示策略的Q值分布。2) 不确定性量化模块：基于Q值分布，计算智能体自身策略和演示策略的不确定性。3) 正则化权重计算模块：根据不确定性，计算一个连续的正则化权重，用于调节模仿演示的程度。4) 策略更新模块：使用计算得到的正则化权重，将演示策略融入到智能体自身的策略更新中。

关键创新：SPReD的关键创新在于其基于不确定性的平滑策略正则化方法。与传统的二元模仿决策方法不同，SPReD采用连续的正则化权重，可以更精细地控制模仿的程度。此外，SPReD通过显式地建模Q值分布，可以更准确地量化不确定性，从而做出更明智的模仿决策。这种方法不仅提高了学习的效率，还增强了对演示数据质量和数量的鲁棒性。

关键设计：SPReD的关键设计包括：1) 使用Q-ensemble来估计Q值分布，从而量化不确定性。2) 设计了两种互补的不确定性感知方法：一种是基于概率的方法，用于估计演示优越性的可能性；另一种是基于优势的方法，通过统计显著性来缩放模仿。3) 使用连续的正则化权重，将演示策略融入到智能体自身的策略更新中。正则化权重的计算方式可以根据具体任务进行调整，例如，可以使用高斯函数或sigmoid函数来平滑地调节模仿程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPReD在八个机器人任务中进行了实验，结果表明，SPReD显著优于现有的模仿学习方法，尤其是在复杂的任务中，性能提升高达14倍。此外，SPReD对演示数据的质量和数量具有很强的鲁棒性，即使在演示数据质量较差或数量较少的情况下，也能取得良好的学习效果。这些实验结果充分证明了SPReD的有效性和实用性。

🎯 应用场景

SPReD适用于各种需要利用少量演示数据进行强化学习的场景，例如机器人控制、游戏AI、自动驾驶等。该方法可以显著提高学习效率，降低对演示数据质量的要求，从而加速智能体的训练和部署。未来，SPReD可以进一步扩展到多智能体强化学习、元学习等领域，为更复杂的任务提供解决方案。

📄 摘要（原文）

In reinforcement learning with sparse rewards, demonstrations can accelerate learning, but determining when to imitate them remains challenging. We propose Smooth Policy Regularisation from Demonstrations (SPReD), a framework that addresses the fundamental question: when should an agent imitate a demonstration versus follow its own policy? SPReD uses ensemble methods to explicitly model Q-value distributions for both demonstration and policy actions, quantifying uncertainty for comparisons. We develop two complementary uncertainty-aware methods: a probabilistic approach estimating the likelihood of demonstration superiority, and an advantage-based approach scaling imitation by statistical significance. Unlike prevailing methods (e.g. Q-filter) that make binary imitation decisions, SPReD applies continuous, uncertainty-proportional regularisation weights, reducing gradient variance during training. Despite its computational simplicity, SPReD achieves remarkable gains in experiments across eight robotics tasks, outperforming existing approaches by up to a factor of 14 in complex tasks while maintaining robustness to demonstration quality and quantity. Our code is available at https://github.com/YujieZhu7/SPReD.