Real-world Reinforcement Learning from Suboptimal Interventions
作者: Yinuo Zhao, Huiqian Jin, Lechun Jiang, Xinyi Zhang, Kun Wu, Pei Ren, Zhiyuan Xu, Zhengping Che, Lei Sun, Dapeng Wu, Chi Harold Liu, Jian Tang
分类: cs.RO
发布日期: 2025-12-30
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SiLRI算法，利用次优干预加速真实机器人操作强化学习
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 机器人操作 人机协作 次优干预 拉格朗日乘数
📋 核心要点
- 现有真实世界强化学习方法假设人类干预是最优的，忽略了次优干预带来的挑战。
- SiLRI算法将在线操作问题建模为约束RL优化，利用状态式拉格朗日乘数处理次优干预。
- 实验表明，SiLRI显著提升了学习效率和最终性能，尤其在长时程任务中表现突出。
📝 摘要（中文）
真实世界强化学习（RL）为在线训练精确和灵巧的机器人操作策略提供了一种有前景的方法，使机器人能够从自身经验中学习，同时逐步减少人工干预。然而，先前的真实世界RL方法通常假设人类干预在整个状态空间中都是最优的，忽略了即使是专家操作员也无法在所有状态下始终提供最优动作或完全避免错误。不加区分地将干预数据与机器人收集的数据混合会继承RL的样本低效性，而纯粹模仿干预数据最终会降低RL可达到的最终性能。因此，如何利用可能次优和嘈杂的人工干预来加速学习而不受其约束仍然是一个开放的问题。为了应对这一挑战，我们提出了一种用于真实机器人操作任务的状态式拉格朗日强化学习算法SiLRI。具体来说，我们将在线操作问题表述为约束RL优化，其中每个状态的约束边界由人工干预的不确定性决定。然后，我们引入一个状态式拉格朗日乘数，并通过最小-最大优化来解决该问题，共同优化策略和拉格朗日乘数以达到鞍点。基于人作为副驾驶的遥操作系统，我们的算法通过各种操作任务的真实世界实验进行评估。实验结果表明，与最先进的RL方法HIL-SERL相比，SiLRI有效地利用了人类次优干预，将达到90%成功率所需的时间减少了至少50%，并在其他RL方法难以成功的长时程操作任务中实现了100%的成功率。
🔬 方法详解
问题定义：现有真实世界强化学习方法在利用人类干预数据时，通常假设干预是最优的。然而，实际中人类干预往往是次优的，直接模仿或混合这些次优数据会导致学习效率低下，甚至限制最终性能。因此，如何有效地利用这些次优干预数据，加速学习并超越人类水平，是本文要解决的核心问题。
核心思路：SiLRI的核心思路是将人类干预视为一种约束，允许机器人探索超出人类干预范围的策略，同时避免完全忽略人类的先验知识。通过引入状态相关的拉格朗日乘子，动态调整对人类干预的信任程度，从而在探索和模仿之间取得平衡。
技术框架：SiLRI算法基于人作为副驾驶的遥操作系统。整体流程如下：1) 人类通过遥操作提供干预数据；2) 机器人收集自身经验数据；3) 将在线操作问题建模为约束RL优化问题，其中约束边界由人类干预的不确定性决定；4) 使用状态式拉格朗日乘数，通过最小-最大优化，联合优化策略和拉格朗日乘数，寻找鞍点。
关键创新：SiLRI的关键创新在于引入了状态相关的拉格朗日乘数，将人类干预的不确定性纳入考虑。这种方法允许算法在不同状态下自适应地调整对人类干预的信任程度，从而更有效地利用次优干预数据。与传统的模仿学习或行为克隆方法不同，SiLRI并不完全依赖人类数据，而是允许机器人探索更优的策略。
关键设计：SiLRI使用状态相关的拉格朗日乘数来约束策略的学习。具体而言，对于每个状态，算法会估计人类干预的不确定性，并将其作为约束边界。拉格朗日乘数用于平衡奖励最大化和约束满足。算法通过最小-最大优化来寻找策略和拉格朗日乘数的鞍点。损失函数包含奖励项、约束违反项和拉格朗日乘数项。网络结构方面，可以使用常见的深度神经网络结构，如多层感知机或循环神经网络，具体取决于任务的复杂程度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SiLRI算法在多个真实机器人操作任务中表现出色。与最先进的RL方法HIL-SERL相比，SiLRI将达到90%成功率所需的时间减少了至少50%。此外，在其他RL方法难以成功的长时程操作任务中，SiLRI实现了100%的成功率，证明了其在复杂任务中的优越性能。
🎯 应用场景
SiLRI算法可广泛应用于需要人机协作的机器人操作任务中，例如远程手术、危险环境下的物体操作、以及需要精细操作的装配任务。该算法能够有效利用人类的经验，同时避免被人类的次优操作所限制，从而提高机器人的自主性和操作效率。未来，该算法有望应用于更广泛的机器人领域，例如自动驾驶、智能制造等。
📄 摘要（原文）
Real-world reinforcement learning (RL) offers a promising approach to training precise and dexterous robotic manipulation policies in an online manner, enabling robots to learn from their own experience while gradually reducing human labor. However, prior real-world RL methods often assume that human interventions are optimal across the entire state space, overlooking the fact that even expert operators cannot consistently provide optimal actions in all states or completely avoid mistakes. Indiscriminately mixing intervention data with robot-collected data inherits the sample inefficiency of RL, while purely imitating intervention data can ultimately degrade the final performance achievable by RL. The question of how to leverage potentially suboptimal and noisy human interventions to accelerate learning without being constrained by them thus remains open. To address this challenge, we propose SiLRI, a state-wise Lagrangian reinforcement learning algorithm for real-world robot manipulation tasks. Specifically, we formulate the online manipulation problem as a constrained RL optimization, where the constraint bound at each state is determined by the uncertainty of human interventions. We then introduce a state-wise Lagrange multiplier and solve the problem via a min-max optimization, jointly optimizing the policy and the Lagrange multiplier to reach a saddle point. Built upon a human-as-copilot teleoperation system, our algorithm is evaluated through real-world experiments on diverse manipulation tasks. Experimental results show that SiLRI effectively exploits human suboptimal interventions, reducing the time required to reach a 90% success rate by at least 50% compared with the state-of-the-art RL method HIL-SERL, and achieving a 100% success rate on long-horizon manipulation tasks where other RL methods struggle to succeed. Project website: https://silri-rl.github.io/.