ReF-HIL: Shaping the Critic around Human Action Neighborhoods for Efficient Human-in-the-Loop Reinforcement Learning

📄 arXiv: 2609.37131v1 📥 PDF

作者: Shaoyin Luo, Song Wang, Shibo Xia, Tianle Zhang, Zhaowei Liang, Guanghui Shen, Bin Wang, Dan Wu

分类: cs.RO

发布日期: 2026-09-29

备注: 8 pages, 7 figures. Shaoyin Luo and Song Wang contributed equally to this work

💡 一句话要点

提出ReF-HIL框架以解决人机协作强化学习效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协作 强化学习 机器人操作 价值塑造 在线学习 人类经验 动作邻域 学习效率

📋 核心要点

  1. 现有的人机协作强化学习方法在利用成功的人类经验进行价值学习方面存在不足，导致训练效率低下。
  2. ReF-HIL框架通过人类参考引导的价值塑造和人类动作围栏，优化了在线价值学习过程，提升了学习效率。
  3. 实验结果显示，ReF-HIL在18-63分钟内实现90%的自主成功率，最终成功率达到91.7%-100%，显著高于基线方法。

📝 摘要（中文）

人机协作强化学习（HIL-RL）为机器人操作策略的高效训练提供了有前景的途径，结合了自主学习与人类示范和在线修正。然而，现有方法在价值学习中对成功人类经验的利用不足，导致昂贵的现实世界训练时间延长，同时持续的模仿惩罚限制了基于价值的策略改进。为了解决这些问题，本文提出了ReF-HIL框架，通过人类指导加速学习过程。人类参考引导的价值塑造从成功的人类经验中学习独立的价值参考，以指导在线价值学习，并结合局部纠正反馈。人类动作围栏定义了学习到的人类动作邻域，使得在内部进行基于价值的优化而不受模仿惩罚的影响，同时在外部限制策略和价值更新。实验表明，与评估的基线相比，ReF-HIL在五个多样且具有挑战性的现实世界操作任务中显示出更高的学习效率和成功率。

🔬 方法详解

问题定义：本文旨在解决人机协作强化学习中对成功人类经验利用不足的问题，导致训练时间延长和策略改进受限。

核心思路：ReF-HIL框架通过引入人类参考引导的价值塑造和人类动作围栏，利用成功的人类经验加速在线价值学习，减少模仿惩罚的影响。

技术框架：该框架主要包括两个模块：人类参考引导的价值塑造模块和人类动作围栏模块。前者用于学习独立的价值参考，后者定义人类动作邻域以优化策略。

关键创新：ReF-HIL的核心创新在于结合了人类经验的独立价值学习与局部反馈机制，突破了传统方法在模仿学习中的局限性。

关键设计：在参数设置上，框架通过动态调整价值参考和反馈机制，确保在学习过程中有效利用人类经验，同时设计了适应性损失函数以平衡价值更新与模仿惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReF-HIL在五个现实世界操作任务中表现优异，达到90%的自主成功率仅需18-63分钟的训练时间，最终成功率高达91.7%-100%。与基线方法相比，学习效率显著提升，展示了人类指导强化学习的巨大潜力。

🎯 应用场景

ReF-HIL框架具有广泛的应用潜力，特别是在机器人操作、自动化制造和人机协作等领域。其高效的学习能力能够加速机器人技能的掌握，提升实际操作的可靠性和效率，未来可能推动智能机器人在复杂环境中的应用。

📄 摘要（原文）

Human-in-the-loop reinforcement learning (HIL-RL) offers a promising route to efficient training of robotic manipulation policies by combining autonomous learning with human demonstrations and online corrections. However, insufficient use of successful human experience in value learning prolongs costly real-world training, while persistent imitation penalties can limit value-driven policy improvement. To address these limitations, we propose ReF-HIL, an efficient HIL-RL framework that uses human guidance to accelerate the learning process. Human-Reference-Guided Value Shaping learns an independent value reference from successful human experience to guide online value learning, while incorporating local corrective feedback. A Human Action Fence defines a learned human-action neighborhood, allowing value-driven optimization for better performance without imitation penalties inside while constraining policy and value updates outside. Experiments on five diverse and challenging real-world manipulation tasks demonstrate improved overall learning efficiency and higher success rates compared with the evaluated baselines. Specifically, ReF-HIL reaches 90% autonomous success in only 18-63 minutes of active training and achieves final success rates of 91.7-100%. These results highlight the potential of human-guided reinforcement learning to acquire reliable manipulation skills efficiently in the real world. Project website: https://anonymous.4open.science/w/ReF-HIL-7762/