A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models

📄 arXiv: 2605.30843v1 📥 PDF

作者: Enoch Hyunwook Kang

分类: cs.LG, econ.EM

发布日期: 2026-05-29

💡 一句话要点

离线强化学习与逆强化学习综述：统一动态离散选择模型与熵正则化逆强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 离线强化学习 动态离散选择 熵正则化 奖励函数学习

📋 核心要点

  1. 传统强化学习奖励已知，求解最优策略。逆强化学习则反过来，从专家数据中推断奖励函数，面临奖励函数不唯一等挑战。
  2. 论文核心在于统一了动态离散选择模型和熵正则化逆强化学习，揭示了二者在概率模型上的等价性，为后续研究奠定基础。
  3. 论文系统梳理了经典和现代逆强化学习方法，明确了各种方法的优缺点和适用范围，为研究者提供了清晰的指导。

📝 摘要（中文）

本文探讨了逆强化学习问题，即在给定专家离线数据的情况下，如何恢复专家所优化的奖励函数。文章揭示了结构计量经济学中研究动态离散选择（DDC）的学者与机器学习领域研究熵正则化逆强化学习（IRL）的学者，实际上是在使用相同的概率模型，并证明了它们的等价性。随后，文章阐述了Magnac和Thesmar的经典识别结果，以及由此产生的经典计算范式，包括Rust的嵌套不动点算法、Hotz和Miller的条件选择概率方法，以及Adusumilli和Eckardt的两种时序差分方法：线性半梯度TD和近似值迭代。文章还讨论了现代ML/IRL方法，如对抗逆强化学习、占用率匹配、IQ-Learn和离线ML-IRL，推导了每种方法的实际目标，并明确说明了它们可以识别和不能识别的内容。最后，文章介绍了Kang等人的经验风险最小化框架，该框架为离线IRL/DDC提供了一种基于梯度的估计器。

🔬 方法详解

问题定义：逆强化学习旨在从专家行为数据中恢复潜在的奖励函数。现有方法，如Rust的嵌套不动点算法等，在高维度、过渡核估计、致命三元组问题以及投影不动点偏差等方面存在局限性。此外，不同领域的研究者（如计量经济学和机器学习）在解决同一问题时采用了不同的方法，缺乏统一的视角。

核心思路：论文的核心思路是将结构计量经济学中的动态离散选择模型与机器学习中的熵正则化逆强化学习联系起来，证明了它们在数学上的等价性。通过建立这种联系，可以利用不同领域的理论和方法来解决逆强化学习问题。

技术框架：论文首先证明了动态离散选择模型和熵正则化逆强化学习的等价性。然后，回顾了经典的逆强化学习方法，包括Rust的嵌套不动点算法、Hotz和Miller的条件选择概率方法，以及Adusumilli和Eckardt的时序差分方法。接着，论文讨论了现代ML/IRL方法，如对抗逆强化学习、占用率匹配、IQ-Learn和离线ML-IRL。最后，论文介绍了Kang等人的经验风险最小化框架，该框架为离线IRL/DDC提供了一种基于梯度的估计器。

关键创新：最重要的创新在于建立了动态离散选择模型和熵正则化逆强化学习之间的联系，统一了不同领域的视角。此外，论文还对各种逆强化学习方法进行了系统性的分析和比较，明确了它们的优缺点和适用范围。

关键设计：论文没有提出新的算法，而是对现有算法进行了梳理和分析。Kang等人的经验风险最小化框架是基于梯度的估计器，具体的技术细节（如损失函数、网络结构等）需要参考Kang等人的原始论文。

📊 实验亮点

本文是一篇综述性文章，主要贡献在于理论分析和方法梳理，没有提供具体的实验结果。文章通过理论证明，统一了动态离散选择模型和熵正则化逆强化学习，并对各种逆强化学习方法进行了比较分析，为后续研究提供了指导。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、推荐系统等领域。通过逆强化学习，可以从人类专家的行为数据中学习到奖励函数，从而使智能体能够模仿专家的行为，提高决策效率和性能。此外，该研究还有助于理解人类行为的动机和偏好。

📄 摘要（原文）

In the forward reinforcement-learning problem, the reward is fixed and known; the learner is asked to find a good policy or value function. Here we turn the question around. Given offline data generated by an expert, can we recover the reward the expert was optimizing? This is the inverse reinforcement learning problem, and remarkably, two communities, structural econometricians studying dynamic discrete choice (DDC) and machine learners studying entropy-regularized IRL, have been working on exactly the same probabilistic model under different names. We begin by proving their equivalence. We then develop the classical identification result of Magnac and Thesmar and the classical computational paradigms that grew out of it: Rust's nested fixed-point algorithm, the conditional-choice-probability approach of Hotz and Miller, and the two temporal-difference approaches of Adusumilli and Eckardt: linear semi-gradient TD and approximate value iteration. Each route has its limits: dimensionality, transition-kernel estimation, the deadly triad, or projected fixed-point bias. We then walk through the modern ML/IRL strand: adversarial IRL, occupancy matching, IQ-Learn, and offline ML-IRL, deriving each method's actual objective and stating precisely what it does and does not identify. We close with the empirical-risk-minimization framework of Kang et al., which yields a gradient-based estimator for offline IRL/DDC.