Selective Progress-Aware Querying for Human-in-the-Loop Reinforcement Learning

📄 arXiv: 2509.20541v1 📥 PDF

作者: Anujith Muraleedharan, Anamika J H

分类: cs.RO

发布日期: 2025-09-24

备注: Preprint. 8 pages, 3 figures, 1 table, 1 algorithm. CoRL 2025 style (preprint). Code/data to be released

💡 一句话要点

提出SPARQ，一种基于学习进度的选择性查询策略，提升人机协同强化学习效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协同强化学习 主动学习 选择性查询 机器人学习 反馈效率

📋 核心要点

  1. 现有HiL-RL方法假设人类反馈充足，但在实际机器人部署中，反馈获取成本高昂且数量有限。
  2. SPARQ通过监控学习进度，仅在停滞或恶化时请求反馈，从而减少不必要的反馈请求。
  3. 实验表明，SPARQ在保证任务成功率的同时，显著降低了反馈需求，提升了学习效率。

📝 摘要（中文）

人为反馈能够显著加速机器人学习，但在实际环境中，这种反馈代价高昂且数量有限。现有的人机协同强化学习(HiL-RL)方法通常假设反馈充足，限制了其在物理机器人部署中的实用性。本文提出SPARQ，一种基于学习进度的查询策略，仅在学习停滞或恶化时才请求反馈，从而减少不必要的示教调用。我们在PyBullet模拟的UR5机械臂抓取立方体任务上评估SPARQ，并与三种基线进行比较：无反馈、随机查询和始终查询。实验表明，SPARQ实现了接近完美的任务成功率，与始终查询的性能相当，同时消耗了大约一半的反馈预算。它还提供了比随机查询更稳定和高效的学习，并且显著优于无反馈训练。这些发现表明，选择性的、基于进度的查询策略可以使HiL-RL对于在现实人类努力约束下运行的机器人更有效和可扩展。

🔬 方法详解

问题定义：现有的人机协同强化学习方法在实际机器人应用中面临反馈成本高昂的问题。它们通常假设可以获得大量的专家反馈，这在现实场景中是不切实际的。因此，如何减少对人类反馈的依赖，同时保持甚至提升学习性能，是本文要解决的核心问题。现有方法要么不使用反馈，导致学习效率低下，要么过度依赖反馈，导致成本过高。

核心思路：SPARQ的核心思路是根据学习的实际进度来决定是否需要人类反馈。具体来说，它会监控强化学习智能体的学习曲线，当学习曲线趋于平缓（学习停滞）或者开始下降（学习恶化）时，才向人类专家请求反馈。这样做的目的是避免在智能体已经学得很好的情况下浪费反馈资源，并将有限的反馈集中在最需要的时候。

技术框架：SPARQ的整体框架可以概括为以下几个步骤：1. 智能体与环境交互，收集经验数据。2. 使用经验数据更新强化学习策略。3. 评估学习进度，例如通过监控奖励函数的变化。4. 如果学习进度低于阈值，则向人类专家请求反馈。5. 将人类反馈融入到强化学习过程中，例如通过模仿学习或奖励塑造。6. 重复步骤1-5，直到达到预定的学习目标。

关键创新：SPARQ的关键创新在于其选择性查询策略。与传统的随机查询或始终查询策略不同，SPARQ能够根据学习的实际情况动态地调整反馈请求的频率。这种自适应的反馈机制能够更有效地利用有限的人类反馈资源，从而提高人机协同强化学习的效率。

关键设计：SPARQ的关键设计包括：1. 学习进度评估指标的选择：可以使用奖励函数的移动平均、方差等指标来衡量学习进度。2. 查询阈值的设定：需要根据具体的任务和环境来调整查询阈值，以平衡反馈成本和学习性能。3. 反馈融合方式：可以将人类反馈作为额外的奖励信号，或者用于指导策略的更新。论文中具体的技术细节未知，需要参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPARQ在UR5机械臂抓取立方体任务中表现出色，在与始终查询策略性能相当的情况下，反馈使用量减少约一半。同时，SPARQ的学习过程比随机查询更稳定高效，并显著优于无反馈训练。这些结果表明，SPARQ能够有效地平衡学习性能和反馈成本，为实际机器人应用提供了一种可行的解决方案。

🎯 应用场景

SPARQ适用于各种需要人机协同的强化学习任务，尤其是在人类反馈成本高昂或难以获取的场景下。例如，可以应用于机器人操作、自动驾驶、游戏AI等领域。通过减少对人类反馈的依赖，SPARQ能够降低部署成本，提高学习效率，并最终实现更智能、更自主的机器人系统。

📄 摘要（原文）

Human feedback can greatly accelerate robot learning, but in real-world settings, such feedback is costly and limited. Existing human-in-the-loop reinforcement learning (HiL-RL) methods often assume abundant feedback, limiting their practicality for physical robot deployment. In this work, we introduce SPARQ, a progress-aware query policy that requests feedback only when learning stagnates or worsens, thereby reducing unnecessary oracle calls. We evaluate SPARQ on a simulated UR5 cube-picking task in PyBullet, comparing against three baselines: no feedback, random querying, and always querying. Our experiments show that SPARQ achieves near-perfect task success, matching the performance of always querying while consuming about half the feedback budget. It also provides more stable and efficient learning than random querying, and significantly improves over training without feedback. These findings suggest that selective, progress-based query strategies can make HiL-RL more efficient and scalable for robots operating under realistic human effort constraints.