Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning

📄 arXiv: 2607.17760v1 📥 PDF

作者: Ziyi Liu, Grace Zhang

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出MPG方法以解决少样本逆强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 少样本学习 多任务学习 机器人操作 智能导航 专家行为识别 接近度函数

📋 核心要点

  1. 现有的逆强化学习方法在面对具有显著变异的现实任务时，难以收集足够的示范数据，导致学习效果不佳。
  2. 本文提出的MPG方法通过学习可推广的判别器和接近度函数，帮助代理在有限的示范下有效学习新任务。
  3. 实验结果显示，MPG方法在多个复杂任务中成功率达到81.2%，相比最强基线提升了24.7个百分点。

📝 摘要（中文）

逆强化学习（IRL）为从示范中学习提供了强大的框架。然而，现实任务常常表现出显著的自然变异，使得在每种可能场景下收集完全指定的新任务的示范变得不切实际。本文提出了多任务示范的少样本逆强化学习（FM-IRL）问题，旨在通过有限的目标任务示范和相关任务的示范来学习新任务。我们引入了多任务判别器近邻引导IRL（MPG），该方法学习了两个互补的奖励组件：可推广的判别器和测量状态偏离专家行为的接近度函数。实验结果表明，该方法在多个具有显著变异的导航和操作任务中表现出色，成功率达到81.2%。

🔬 方法详解

问题定义：本文旨在解决在有限示范下学习新任务的挑战，现有方法在面对自然变异时难以有效利用相关任务的示范。

核心思路：MPG方法通过引入可推广的判别器和接近度函数，帮助代理识别专家行为并在偏离时提供纠正指导，从而提高学习效率。

技术框架：该方法包括两个主要模块：可推广的判别器用于识别新任务中的专家行为，接近度函数用于评估状态与专家行为的偏离程度，并提供相应的指导。

关键创新：MPG的创新在于同时学习两个互补的奖励组件，使得代理在多任务学习中能够有效转移知识，显著提升了学习效果。

关键设计：在设计中，判别器通过共享结构来识别相关任务的专家行为，接近度函数则通过测量状态偏离程度来调整代理的探索策略，确保学习过程的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MPG方法在多个具有挑战性的导航和操作任务中取得了81.2%的平均成功率，较最强基线提升了24.7个百分点，展现了其在少样本逆强化学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、智能助手等需要从有限示范中学习复杂任务的场景。通过提高学习效率，MPG方法能够加速机器人在动态环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Inverse reinforcement learning (IRL) provides a powerful framework for learning from demonstrations. However, real-world tasks often exhibit substantial natural variations (e.g., picking up mugs with varying shapes), making it impractical to collect demonstrations that fully specify a new task under every possible scenario. In practice, while demonstrations for the target task are limited, it is often easier to obtain datasets of heterogeneous but related behaviors. This motivates the problem of few-shot IRL with multi-task demonstrations (FM-IRL), where an agent must learn a new task with substantial variations from only a limited number of target-task demonstrations, together with sufficient demonstrations of related tasks and online agent experience. To do so, we must both recover the expert distribution of the new task and provide guidance when the agent deviates from it. We introduce Multitask discriminator Proximity-Guided IRL (MPG), which learns two complementary reward components: (1) a generalizable discriminator that transfers shared structure across related tasks to identify expert behavior in a new task, and (2) a proximity function that measures how far a state deviates from expert behavior and provides corrective guidance during exploration. We demonstrate the effectiveness of our method on multiple challenging navigation and manipulation tasks under significant variations (e.g., object configurations, table layouts, and initial robot poses), achieving an average success rate of 81.2%, outperforming the strongest per-task baseline by an average of 24.7 percentage points.