Selective Progress-Aware Querying for Human-in-the-Loop Reinforcement Learning

📄 arXiv: 2509.20541v1 📥 PDF

作者: Anujith Muraleedharan, Anamika J H

分类: cs.RO

发布日期: 2025-09-24

备注: Preprint. 8 pages, 3 figures, 1 table, 1 algorithm. CoRL 2025 style (preprint). Code/data to be released

💡 一句话要点

提出SPARQ：一种选择性进度感知查询策略，用于降低人机协同强化学习中的人工反馈成本。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协同强化学习 强化学习 人工反馈 主动学习 机器人学习

📋 核心要点

  1. 现有HiL-RL方法假设反馈充足，但在实际机器人部署中，人工反馈成本高昂且有限。
  2. SPARQ仅在学习停滞或恶化时请求反馈，通过进度感知来减少不必要的专家调用。
  3. 在UR5机械臂抓取任务中，SPARQ在消耗一半反馈预算的情况下，性能与始终查询相当，且优于随机查询和无反馈训练。

📝 摘要（中文）

人工反馈能够显著加速机器人学习，但在实际环境中，这种反馈代价高昂且数量有限。现有的人机协同强化学习(HiL-RL)方法通常假设有充足的反馈，限制了它们在物理机器人部署中的实用性。本文提出SPARQ，一种进度感知查询策略，仅在学习停滞或恶化时才请求反馈，从而减少不必要的专家调用。我们在PyBullet模拟的UR5机械臂抓取立方体任务上评估SPARQ，并与三种基线方法进行比较：无反馈、随机查询和始终查询。实验表明，SPARQ实现了接近完美的任务成功率，与始终查询的性能相匹配，同时消耗了大约一半的反馈预算。它还提供了比随机查询更稳定和高效的学习，并且显著优于无反馈训练。这些发现表明，选择性的、基于进度的查询策略可以使HiL-RL对于在现实人工努力约束下运行的机器人更有效和可扩展。

🔬 方法详解

问题定义：现有的人机协同强化学习方法在实际机器人部署中面临人工反馈成本高昂且数量有限的问题。这些方法通常假设可以获得充足的人工反馈，这在现实场景中是不切实际的。因此，如何在有限的人工反馈预算下，尽可能高效地利用人工反馈来提升强化学习的性能，是本文要解决的核心问题。现有方法的痛点在于，要么不使用人工反馈，导致学习效率低下；要么过度依赖人工反馈，导致成本过高。

核心思路：本文的核心思路是，并非所有时刻都需要人工反馈，只有在学习遇到困难，例如停滞或恶化时，才需要人工干预。因此，本文提出了一种进度感知的查询策略，即SPARQ。SPARQ通过监控学习的进度，并仅在必要时才请求人工反馈，从而在保证学习性能的同时，显著降低了人工反馈的成本。这样设计的目的是为了更有效地利用有限的人工反馈资源，使其发挥最大的作用。

技术框架：SPARQ的整体框架可以概括为以下几个步骤：1. 机器人与环境交互，执行当前策略并收集经验数据。2. 评估学习进度，例如通过监控奖励的变化、策略的稳定性等指标。3. 根据学习进度决定是否需要人工反馈。如果学习停滞或恶化，则向人类专家请求反馈；否则，继续执行当前策略。4. 将人工反馈融入到强化学习算法中，例如通过调整奖励函数、修改策略等方式。5. 重复以上步骤，直到学习达到目标或反馈预算耗尽。

关键创新：SPARQ最重要的技术创新点在于其选择性的查询策略。与传统的随机查询或始终查询策略不同，SPARQ能够根据学习的实际进度，智能地决定何时需要人工反馈。这种选择性的查询策略能够更有效地利用有限的人工反馈资源，从而在保证学习性能的同时，显著降低了人工反馈的成本。SPARQ与现有方法的本质区别在于，它不是盲目地请求反馈，而是有策略地进行查询，从而实现了反馈效率的最大化。

关键设计：SPARQ的关键设计包括以下几个方面：1. 进度评估指标：如何准确地评估学习的进度是SPARQ的关键。本文可能使用了奖励变化、策略稳定性等指标来衡量学习的进展情况。2. 查询阈值：需要设定一个阈值来决定何时请求人工反馈。这个阈值的设置需要根据具体的任务和环境进行调整。3. 反馈融合方法：如何将人工反馈有效地融入到强化学习算法中也是一个重要的设计考虑。这可能涉及到调整奖励函数、修改策略等多种方法。

📊 实验亮点

实验结果表明，SPARQ在UR5机械臂抓取立方体任务中表现出色。SPARQ在消耗大约一半反馈预算的情况下，实现了与始终查询策略相当的近乎完美的任务成功率。与随机查询策略相比，SPARQ提供了更稳定和高效的学习。此外，SPARQ的性能显著优于无反馈训练，证明了其在有限反馈预算下的有效性。这些结果表明，SPARQ是一种非常有前景的人机协同强化学习方法。

🎯 应用场景

SPARQ具有广泛的应用前景，尤其适用于那些人工反馈成本高昂的机器人学习任务。例如，在复杂的工业自动化场景中，机器人需要不断学习新的技能，但人工示教或纠正的成本很高。SPARQ可以帮助机器人更有效地利用有限的人工反馈，从而加速学习过程，提高生产效率。此外，SPARQ还可以应用于医疗机器人、服务机器人等领域，帮助这些机器人更好地适应复杂多变的环境，并与人类进行更有效的协作。

📄 摘要（原文）

Human feedback can greatly accelerate robot learning, but in real-world settings, such feedback is costly and limited. Existing human-in-the-loop reinforcement learning (HiL-RL) methods often assume abundant feedback, limiting their practicality for physical robot deployment. In this work, we introduce SPARQ, a progress-aware query policy that requests feedback only when learning stagnates or worsens, thereby reducing unnecessary oracle calls. We evaluate SPARQ on a simulated UR5 cube-picking task in PyBullet, comparing against three baselines: no feedback, random querying, and always querying. Our experiments show that SPARQ achieves near-perfect task success, matching the performance of always querying while consuming about half the feedback budget. It also provides more stable and efficient learning than random querying, and significantly improves over training without feedback. These findings suggest that selective, progress-based query strategies can make HiL-RL more efficient and scalable for robots operating under realistic human effort constraints.