Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation

📄 arXiv: 2609.30023v1 📥 PDF

作者: Mariia Iavorskaia, Christian Dietz, Sebastian Albrecht, Majid Khadiv

分类: cs.RO

发布日期: 2026-09-24

💡 一句话要点

提出Res-HIL框架以提高样本效率的灵巧操作学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机协同学习 残差强化学习 模仿学习 样本效率 机器人操作

📋 核心要点

  1. 现有的模仿学习方法在训练数据之外的表现不佳，并且收集更多示范需要大量人力资源。
  2. Res-HIL框架通过在冻结的模仿策略上学习残差策略，利用人类干预提供的反馈信号来提高学习效率。
  3. 实验结果表明，Res-HIL在多个操作任务中表现优于现有的强化学习方法，仅需少量初始示范即可实现显著提升。

📝 摘要（中文）

模仿学习使机器人能够通过示范获取操作技能，但在训练数据之外的表现往往不佳，且收集更多示范需要大量人力。人机协同强化学习在在线训练中使用纠正反馈，但通常学习完整的任务策略，而不是精炼预训练的模仿策略。我们提出Res-HIL，一个人机协同残差强化学习框架，在冻结的模仿策略上学习纠正动作。每次人类干预提供两种互补的学习信号：对残差策略的直接监督和对先前自主行为的奖励塑造。Res-HIL结合这些信号并将残差策略初始化为零，以稳定和加速在线学习。在五个接触丰富的操作任务上评估Res-HIL，结果显示仅用20个初始示范，Res-HIL在十分钟的在线训练后超越了最先进的全策略人机协同强化学习和没有人类指导的残差微调。Res-HIL改善了其预训练的基础策略，并超越了使用五倍示范训练的模仿策略。消融研究表明，直接残差监督对性能至关重要，而干预感知奖励塑造显著提高了训练效率。

🔬 方法详解

问题定义：本论文旨在解决模仿学习在训练数据之外表现不佳的问题，同时减少人类收集示范的负担。现有的人机协同强化学习方法通常学习完整的任务策略，而不是对预训练模仿策略进行精炼。

核心思路：Res-HIL框架通过在冻结的模仿策略上学习残差策略，利用人类干预提供的直接监督和奖励塑造信号来提高样本效率和学习稳定性。

技术框架：Res-HIL的整体架构包括两个主要模块：冻结的模仿策略和残差策略学习模块。人类干预通过提供反馈信号，帮助模型在在线训练中进行调整和优化。

关键创新：Res-HIL的主要创新在于结合了人类干预的直接监督与奖励塑造，且将残差策略初始化为零，从而加速了学习过程并提高了稳定性。与传统方法相比，Res-HIL更注重在已有策略基础上进行改进，而非从头开始学习。

关键设计：在设计中，直接残差监督被证明对性能至关重要，而干预感知的奖励塑造则显著提高了训练效率。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Res-HIL在五个高接触的操作任务中，仅用20个初始示范，在十分钟的在线训练后超越了现有的全策略人机协同强化学习方法，且在性能上超过了使用五倍示范训练的模仿策略，显示出显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过提高样本效率，Res-HIL能够减少人类干预的需求，从而在实际应用中降低成本和时间消耗，推动智能机器人在复杂环境中的广泛应用。

📄 摘要（原文）

Imitation learning enables robots to acquire manipulation skills from demonstrations, but the resulting policies can fail outside the training data, while collecting more demonstrations requires substantial human effort. Human-in-the-loop reinforcement learning uses corrective feedback during online training, but typically learns the complete task policy rather than refining a pretrained imitation policy. We introduce Res-HIL, a human-in-the-loop residual reinforcement learning framework that learns corrective actions on top of a frozen imitation policy. Each human intervention provides two complementary learning signals: direct supervision of the residual policy and reward shaping of preceding autonomous behavior. Res-HIL combines these signals with zero initialization of the residual policy to stabilize and accelerate online learning. We evaluate Res-HIL on five contact-rich manipulation tasks spanning high-precision and long-horizon behaviors. With only 20 initial demonstrations, Res-HIL outperforms state-of-the-art full-policy human-in-the-loop reinforcement learning and residual fine-tuning without human guidance on every task after ten minutes of online training. Res-HIL improves its pretrained base policies and outperforms imitation policies trained with five times more demonstrations. An ablation study shows that direct residual supervision is critical to performance, while intervention-aware reward shaping substantially improves training efficiency.