Fast Rates for Inverse Reinforcement Learning

📄 arXiv: 2605.14599v1 📥 PDF

作者: Andreas Schlaginhaufen, Maryam Kamgarpour

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-05-14

💡 一句话要点

提出熵正则化的最小-最大逆强化学习以加速学习速率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 最小-最大方法 熵正则化 马尔可夫决策过程 学习速率 奖励可识别性 Borel空间 专家轨迹

📋 核心要点

  1. 现有的逆强化学习方法在处理有限时域MDP时存在学习速率慢和模型假设不准确的问题。
  2. 本文提出了一种熵正则化的最小-最大逆强化学习方法，利用最大似然估计的等价性来加速学习过程。
  3. 研究表明，在没有探索假设的情况下，专家轨迹的KL散度和参数误差以$ ext{O}(n^{-1})$的速率衰减，显著提高了学习效率。

📝 摘要（中文）

本文建立了熵正则化的最小-最大逆强化学习（Min-Max-IRL）在有限时域马尔可夫决策过程（MDP）中的新结构和统计结果。我们证明了最大似然估计（MLE）与Min-Max-IRL在总体水平上是等价的，并在确定性动态下的经验水平上也成立。通过利用Min-Max-IRL损失的伪自一致性，我们证明了轨迹级KL散度和Hessian范数下的平方参数误差以快速速率$ ext{O}(n^{-1})$衰减，且在模型错误指定的情况下无需探索假设。此外，我们将奖励可识别性结果扩展到一般的Borel空间，并推导出关于软最优价值函数对奖励参数的导数的新结果。

🔬 方法详解

问题定义：本文旨在解决熵正则化的最小-最大逆强化学习在有限时域MDP中的学习速率慢和模型假设不准确的问题。现有方法在处理复杂状态和动作空间时，常常面临收敛速度慢和对动态模型的依赖性。

核心思路：论文提出的核心思路是通过最大似然估计（MLE）与Min-Max-IRL的等价性，来简化学习过程并加速收敛。通过引入熵正则化，增强了模型的鲁棒性，降低了对探索的依赖。

技术框架：整体架构包括数据收集、模型训练和性能评估三个主要模块。首先，通过专家轨迹收集数据；其次，利用Min-Max-IRL进行模型训练；最后，通过KL散度和参数误差评估模型性能。

关键创新：最重要的技术创新点在于证明了在总体水平和经验水平下，MLE与Min-Max-IRL的等价性，以及在模型错误指定情况下的快速收敛性。这一结果与传统方法相比，显著提升了学习效率。

关键设计：关键设计包括损失函数的选择，采用伪自一致性来分析Min-Max-IRL损失的收敛性。此外，研究还扩展了奖励可识别性结果，涉及一般Borel空间的处理。

📊 实验亮点

实验结果表明，采用熵正则化的最小-最大逆强化学习方法，轨迹级KL散度和参数误差以$ ext{O}(n^{-1})$的速率衰减，相较于传统方法，学习效率显著提高，且在模型错误指定的情况下依然保持良好的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和人机交互等场景。通过提高逆强化学习的学习效率，能够更快速地适应复杂环境，提升智能体的决策能力和自主性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We establish novel structural and statistical results for entropy-regularized min-max inverse reinforcement learning (Min-Max-IRL) with linear reward classes in finite-horizon MDPs with Borel state and action spaces. On the structural side, we show that maximum likelihood estimation (MLE) and Min-Max-IRL are equivalent at the population level, and at the empirical level under deterministic dynamics. On the statistical side, exploiting pseudo-self-concordance of the Min-Max-IRL loss, we prove that both the trajectory-level KL divergence and the squared parameter error in the Hessian norm decay at the fast rate $\mathcal{O}(n^{-1})$, where $n$ is the number of expert trajectories. Our guarantees apply under misspecification and require no exploration assumptions. We further extend reward-identifiability results to general Borel spaces and derive novel results on the derivatives of the soft-optimal value function with respect to reward parameters.