Is Optimal Transport Necessary for Inverse Reinforcement Learning?

📄 arXiv: 2506.06793v1 📥 PDF

作者: Zixuan Dong, Yumi Omori, Keith Ross

分类: cs.LG, cs.AI

发布日期: 2025-06-07

备注: 19 pages, 10 tables

💡 一句话要点

提出两种简单启发式奖励函数，挑战逆强化学习中优化传输的必要性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 最优传输 奖励函数 启发式算法 轨迹对齐

📋 核心要点

  1. 现有逆强化学习方法依赖最优传输对齐轨迹和推断奖励，但存在计算复杂、超参数敏感等问题。
  2. 论文提出最小距离奖励和分段匹配奖励两种启发式方法，避免优化过程，降低算法复杂度。
  3. 实验结果表明，新方法在多个基准测试中与基于最优传输的方法性能相当甚至更好，验证了其有效性。

📝 摘要（中文）

逆强化学习(IRL)旨在从专家演示中恢复奖励函数。最近，最优传输(OT)方法已成功应用于对齐轨迹和推断奖励。虽然基于OT的方法显示出强大的经验结果，但它们引入了算法复杂性、超参数敏感性，并且需要解决OT优化问题。在这项工作中，我们通过提出两种简单的启发式替代方案来挑战OT在IRL中的必要性：(1)最小距离奖励，它根据最近的专家状态分配奖励，而不管时间顺序；(2)分段匹配奖励，它通过将智能体状态与专家轨迹中的相应分段匹配来结合轻量级时间对齐。这些方法避免了优化，表现出线性时间复杂度，并且易于实现。通过对32个在线和离线基准进行广泛评估，并使用三种强化学习算法，我们表明我们的简单奖励与最近的基于OT的方法相匹配或优于它们。我们的发现表明，OT的核心优势可能源于基本邻近对齐，而不是其最佳耦合公式，从而提倡重新评估未来IRL设计中的复杂性。

🔬 方法详解

问题定义：逆强化学习旨在从专家示例中学习奖励函数。现有方法，特别是基于最优传输（OT）的方法，虽然有效，但计算成本高昂，对超参数敏感，并且需要解决复杂的优化问题。这些痛点限制了OT方法在资源受限或实时性要求高的场景中的应用。

核心思路：论文的核心思路是挑战在逆强化学习中必须使用最优传输才能获得良好性能的假设。作者认为，OT方法的成功可能更多地源于其基本的邻近对齐能力，而非其复杂的优化过程。因此，他们提出了两种更简单、更高效的启发式奖励函数，旨在实现类似甚至更好的性能。

技术框架：论文提出的方法主要包含两种奖励函数： 1. 最小距离奖励（Minimum-Distance Reward）：该方法直接将智能体的状态与专家轨迹中最接近的状态进行匹配，并根据距离分配奖励，忽略了时间顺序。 2. 分段匹配奖励（Segment-Matching Reward）：该方法首先将专家轨迹分割成多个片段，然后将智能体的状态与相应片段中的状态进行匹配，从而实现轻量级的时间对齐。

关键创新：论文的关键创新在于提出了两种简单且高效的启发式奖励函数，挑战了最优传输在逆强化学习中的必要性。这两种方法避免了复杂的优化过程，降低了计算成本，并且易于实现。与现有方法相比，它们在性能上具有竞争力，甚至在某些情况下表现更好。

关键设计： * 最小距离奖励：奖励值通常与智能体状态和最近的专家状态之间的距离成反比。距离可以使用欧几里得距离或其他合适的度量。 * 分段匹配奖励：专家轨迹的分段数量是一个关键参数，需要根据具体任务进行调整。匹配过程可以使用动态时间规整（DTW）或其他序列对齐算法。

📊 实验亮点

实验结果表明，所提出的最小距离奖励和分段匹配奖励在32个在线和离线基准测试中，与基于最优传输的先进方法相比，性能相当甚至更优。在某些任务中，简单方法能够以更低的计算成本实现更高的奖励和更快的收敛速度，证明了其有效性和实用性。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域，尤其适用于对计算资源和实时性有较高要求的场景。通过使用更简单的奖励函数，可以降低算法部署成本，提高训练效率，加速智能系统的开发和应用。

📄 摘要（原文）

Inverse Reinforcement Learning (IRL) aims to recover a reward function from expert demonstrations. Recently, Optimal Transport (OT) methods have been successfully deployed to align trajectories and infer rewards. While OT-based methods have shown strong empirical results, they introduce algorithmic complexity, hyperparameter sensitivity, and require solving the OT optimization problems. In this work, we challenge the necessity of OT in IRL by proposing two simple, heuristic alternatives: (1) Minimum-Distance Reward, which assigns rewards based on the nearest expert state regardless of temporal order; and (2) Segment-Matching Reward, which incorporates lightweight temporal alignment by matching agent states to corresponding segments in the expert trajectory. These methods avoid optimization, exhibit linear-time complexity, and are easy to implement. Through extensive evaluations across 32 online and offline benchmarks with three reinforcement learning algorithms, we show that our simple rewards match or outperform recent OT-based approaches. Our findings suggest that the core benefits of OT may arise from basic proximity alignment rather than its optimal coupling formulation, advocating for reevaluation of complexity in future IRL design.