Statistical analysis of Inverse Entropy-regularized Reinforcement Learning

📄 arXiv: 2512.06956v1 📥 PDF

作者: Denis Belomestny, Alexey Naumov, Sergey Samsonov

分类: stat.ML, cs.LG, math.ST

发布日期: 2025-12-07

备注: 27 pages

💡 一句话要点

提出基于熵正则化逆强化学习的统计分析框架，解决奖励函数非唯一性问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 熵正则化 统计分析 行为克隆 奖励函数学习

📋 核心要点

  1. 经典逆强化学习面临奖励函数非唯一性的挑战，导致逆问题不适定，难以准确恢复奖励函数。
  2. 论文提出结合熵正则化与最小二乘重构的逆强化学习框架，得到与专家策略一致的唯一最小二乘奖励。
  3. 论文建立了估计策略与专家策略之间KL散度的高概率界限，并推导出奖励函数的非渐近最优收敛速度。

📝 摘要（中文）

逆强化学习旨在推断解释专家行为的奖励函数，专家行为通过状态-动作对的轨迹观察得到。经典逆强化学习长期存在的困难是恢复的奖励函数的非唯一性：许多奖励函数可以诱导相同的最优策略，导致逆问题是不适定的。本文为逆熵正则化强化学习开发了一个统计框架，通过将熵正则化与软贝尔曼残差的最小二乘重构奖励相结合，解决了这种模糊性。这种组合产生了一个唯一的、定义良好的最小二乘奖励，与专家策略一致。我们将专家演示建模为一个马尔可夫链，其不变分布由一个未知的专家策略π⋆定义，并通过对动作空间上的条件分布类进行惩罚最大似然程序来估计该策略。我们为估计策略和专家策略之间的超额Kullback-Leibler散度建立了高概率界限，通过策略类的覆盖数来解释统计复杂性。这些结果导出了最小二乘奖励函数的非渐近极小极大最优收敛速度，揭示了平滑（熵正则化）、模型复杂性和样本大小之间的相互作用。我们的分析弥合了行为克隆、逆强化学习和现代统计学习理论之间的差距。

🔬 方法详解

问题定义：逆强化学习旨在从专家演示中恢复奖励函数，但由于多个奖励函数可能导致相同的最优策略，因此存在奖励函数非唯一性的问题。这使得逆强化学习问题变得不适定，难以找到一个合理的奖励函数来解释专家的行为。

核心思路：论文的核心思路是通过引入熵正则化来解决奖励函数非唯一性的问题。熵正则化鼓励策略具有更高的随机性，从而使得不同的奖励函数产生不同的策略。同时，论文使用最小二乘法来重构奖励函数，使得重构的奖励函数与专家的行为尽可能一致。通过结合熵正则化和最小二乘重构，论文可以得到一个唯一的、定义良好的奖励函数。

技术框架：论文的技术框架主要包括以下几个步骤：1) 将专家演示建模为一个马尔可夫链，其不变分布由一个未知的专家策略定义。2) 通过惩罚最大似然程序来估计专家策略。3) 使用熵正则化和最小二乘法来重构奖励函数。4) 分析估计策略与专家策略之间的KL散度，并推导出奖励函数的收敛速度。

关键创新：论文的关键创新在于将熵正则化与最小二乘重构相结合，从而解决了奖励函数非唯一性的问题。此外，论文还建立了估计策略与专家策略之间KL散度的高概率界限，并推导出奖励函数的非渐近最优收敛速度。这些结果为逆强化学习的统计分析提供了新的视角。

关键设计：论文的关键设计包括：1) 使用熵正则化来鼓励策略具有更高的随机性。2) 使用最小二乘法来重构奖励函数，使得重构的奖励函数与专家的行为尽可能一致。3) 使用惩罚最大似然程序来估计专家策略，并控制模型的复杂度。4) 通过覆盖数来衡量策略类的复杂性，并推导出奖励函数的收敛速度。

📊 实验亮点

论文建立了估计策略与专家策略之间Kullback-Leibler散度的高概率界限，并推导出最小二乘奖励函数的非渐近极小极大最优收敛速度。该结果表明，通过结合熵正则化、模型复杂度和样本大小，可以有效地解决逆强化学习中的奖励函数非唯一性问题。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域。通过学习专家或人类的演示数据，可以推断出其潜在的奖励函数，从而使智能体能够模仿专家的行为，并完成复杂的任务。该方法在医疗、金融等领域也具有潜在的应用价值。

📄 摘要（原文）

Inverse reinforcement learning aims to infer the reward function that explains expert behavior observed through trajectories of state--action pairs. A long-standing difficulty in classical IRL is the non-uniqueness of the recovered reward: many reward functions can induce the same optimal policy, rendering the inverse problem ill-posed. In this paper, we develop a statistical framework for Inverse Entropy-regularized Reinforcement Learning that resolves this ambiguity by combining entropy regularization with a least-squares reconstruction of the reward from the soft Bellman residual. This combination yields a unique and well-defined so-called least-squares reward consistent with the expert policy. We model the expert demonstrations as a Markov chain with the invariant distribution defined by an unknown expert policy $π^\star$ and estimate the policy by a penalized maximum-likelihood procedure over a class of conditional distributions on the action space. We establish high-probability bounds for the excess Kullback--Leibler divergence between the estimated policy and the expert policy, accounting for statistical complexity through covering numbers of the policy class. These results lead to non-asymptotic minimax optimal convergence rates for the least-squares reward function, revealing the interplay between smoothing (entropy regularization), model complexity, and sample size. Our analysis bridges the gap between behavior cloning, inverse reinforcement learning, and modern statistical learning theory.