MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention

📄 arXiv: 2406.16258v4 📥 PDF

作者: Yuxin Chen, Chen Tang, Jianglan Wei, Chenran Li, Ran Tian, Xiang Zhang, Wei Zhan, Peter Stone, Masayoshi Tomizuka

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-06-24 (更新: 2025-10-24)

💡 一句话要点

提出MEReQ，通过最大熵残差Q逆强化学习实现人机交互中的高效策略对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 逆强化学习 残差学习 策略对齐 样本效率

📋 核心要点

  1. 现有交互式模仿学习方法在利用先验策略方面效率低下，导致样本利用率低，阻碍了机器人与人类偏好对齐。
  2. MEReQ通过推断残差奖励函数来捕捉人类专家与先验策略之间的差异，并使用残差Q学习进行策略对齐，提升样本效率。
  3. 在模拟和真实世界的任务中，MEReQ展示了其在通过人类干预实现样本高效策略对齐方面的有效性。

📝 摘要（中文）

为了在以人为中心的环境中部署具身智能体，将机器人行为与人类偏好对齐至关重要。一种有前景的解决方案是基于人类干预的交互式模仿学习，即人类专家观察策略的执行并提供干预作为反馈。然而，现有方法通常无法有效利用先验策略来促进学习，从而阻碍了样本效率。本文提出了MEReQ（Maximum-Entropy Residual-Q Inverse Reinforcement Learning），旨在通过人类干预实现样本高效的策略对齐。MEReQ 不推断完整的人类行为特征，而是推断一个残差奖励函数，该函数捕获人类专家和先验策略的潜在奖励函数之间的差异。然后，它采用残差 Q 学习 (RQL) 来使用此残差奖励函数将策略与人类偏好对齐。在模拟和真实任务上的广泛评估表明，MEReQ 实现了来自人类干预的样本高效策略对齐。

🔬 方法详解

问题定义：论文旨在解决人机交互中，如何高效地利用人类干预信号，使机器人策略与人类偏好对齐的问题。现有方法通常需要大量的人工干预样本，或者难以有效利用已有的先验策略，导致学习效率低下。

核心思路：MEReQ的核心思想是将人类专家的偏好建模为对现有策略的残差奖励。这意味着模型不是直接学习人类的完整奖励函数，而是学习人类奖励函数与现有策略奖励函数之间的差异。这样可以更有效地利用先验知识，减少学习所需的样本数量。

技术框架：MEReQ的整体框架包含以下几个主要步骤：1) 收集人类干预数据，这些数据表示人类对机器人行为的纠正。2) 使用逆强化学习（IRL）方法，从人类干预数据中推断出残差奖励函数。3) 使用残差Q学习（RQL），结合先验策略和学习到的残差奖励函数，更新机器人策略。RQL通过优化一个Q函数来实现策略改进，该Q函数考虑了先验策略和残差奖励。

关键创新：MEReQ的关键创新在于其使用残差奖励函数来建模人类偏好。与直接学习完整的奖励函数相比，学习残差可以更有效地利用先验知识，从而提高样本效率。此外，结合最大熵IRL，鼓励学习到的残差奖励函数具有更高的不确定性，从而避免过拟合人类干预数据。

关键设计：MEReQ使用最大熵逆强化学习（Max-Ent IRL）来推断残差奖励函数。具体来说，它优化一个残差奖励函数，使得人类干预行为的概率最大化，同时最大化奖励函数的不确定性。残差Q学习（RQL）使用学习到的残差奖励函数来更新Q函数，从而改进策略。RQL的目标是找到一个Q函数，使得在给定状态下，选择能够最大化累积奖励的动作。损失函数通常包括一个贝尔曼误差项和一个正则化项，以防止Q函数过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在模拟和真实机器人任务上验证了MEReQ的有效性。实验结果表明，与现有的交互式模仿学习方法相比，MEReQ能够显著提高样本效率，在更少的人工干预下实现更好的策略对齐。具体性能提升数据未知，但强调了样本效率的显著提升。

🎯 应用场景

MEReQ可应用于各种人机协作场景，例如：辅助驾驶、家庭服务机器人、工业机器人等。通过学习人类的干预行为，机器人能够更好地理解人类的意图，并调整自身行为以满足人类的需求，从而提高人机协作的效率和安全性。该研究对于提升机器人智能化水平，实现更自然、更高效的人机交互具有重要意义。

📄 摘要（原文）

Aligning robot behavior with human preferences is crucial for deploying embodied AI agents in human-centered environments. A promising solution is interactive imitation learning from human intervention, where a human expert observes the policy's execution and provides interventions as feedback. However, existing methods often fail to utilize the prior policy efficiently to facilitate learning, thus hindering sample efficiency. In this work, we introduce MEReQ (Maximum-Entropy Residual-Q Inverse Reinforcement Learning), designed for sample-efficient alignment from human intervention. Instead of inferring the complete human behavior characteristics, MEReQ infers a residual reward function that captures the discrepancy between the human expert's and the prior policy's underlying reward functions. It then employs Residual Q-Learning (RQL) to align the policy with human preferences using this residual reward function. Extensive evaluations on simulated and real-world tasks demonstrate that MEReQ achieves sample-efficient policy alignment from human intervention.