Inverse Reinforcement Learning using Revealed Preferences and Passive Stochastic Optimization

📄 arXiv: 2507.04396v1 📥 PDF

作者: Vikram Krishnamurthy

分类: cs.LG, eess.SP

发布日期: 2025-07-06

备注: arXiv admin note: text overlap with arXiv:2006.11674

💡 一句话要点

提出基于显示偏好和被动随机优化的逆强化学习方法，用于学习智能体效用函数。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 显示偏好 随机优化 效用函数 贝叶斯学习

📋 核心要点

  1. 现有逆强化学习方法难以处理智能体行为被噪声干扰或效用函数随时间变化的情况。
  2. 利用显示偏好理论和被动随机优化，从智能体的行为中推断其潜在的效用函数。
  3. 通过案例研究，验证了该方法在识别认知雷达和贝叶斯最优序列检测器中的有效性。

📝 摘要（中文）

本专著分为三个章节，探讨了逆强化学习（IRL）。前两章从微观经济学的显示偏好角度研究IRL，利用观察到的智能体行为来重构其效用函数。第一章使用经典的显示偏好理论（Afriat定理及其扩展）来识别基于观察到的智能体行为的约束效用最大化者，从而重建智能体效用的集合值估计。并通过识别认知雷达的存在并重构其效用函数来说明此过程。该章节还解决了当智能体行为被噪声破坏时，构建效用最大化行为的统计检测器的问题。第二章研究贝叶斯IRL，探讨分析师如何确定观察到的智能体是否是理性不专心的贝叶斯效用最大化者。第三章介绍了一种利用被动朗之万动力学的自适应IRL方法，旨在跟踪给定噪声和错误指定的梯度下的时变效用函数。本质上，第三章中提出的自适应IRL算法可以概念化为逆随机梯度算法，因为它们在随机梯度算法运行时实时学习效用函数。

🔬 方法详解

问题定义：传统的逆强化学习方法在处理现实场景中的复杂性时面临挑战。例如，智能体的行为可能受到噪声的干扰，或者智能体的效用函数可能随时间动态变化。此外，直接从策略推断奖励函数往往需要大量的样本数据和计算资源。

核心思路：本研究的核心思路是利用微观经济学中的显示偏好理论，从智能体的行为中反推出其潜在的效用函数。同时，采用被动随机优化方法，能够有效地跟踪时变的效用函数，并降低对大量样本数据的依赖。

技术框架：该研究主要包含三个部分。第一部分利用显示偏好理论重构智能体的效用函数，并构建统计检测器来识别效用最大化行为。第二部分研究贝叶斯逆强化学习，探讨如何确定智能体是否是理性不专心的贝叶斯效用最大化者。第三部分提出了一种自适应逆强化学习方法，利用被动朗之万动力学来跟踪时变的效用函数。

关键创新：该研究的关键创新在于将显示偏好理论引入逆强化学习领域，并提出了一种基于被动随机优化的自适应逆强化学习方法。这种方法能够有效地处理噪声干扰和时变效用函数，并且降低了对大量样本数据的需求。

关键设计：在显示偏好理论部分，采用了Afriat定理及其扩展来识别约束效用最大化者。在自适应逆强化学习部分，采用了朗之万动力学来更新效用函数的估计值。具体的参数设置和损失函数的设计取决于具体的应用场景。

📊 实验亮点

论文通过案例研究展示了该方法的有效性。例如，在认知雷达识别中，该方法能够准确地重构认知雷达的效用函数，并识别其存在。此外，该方法还被应用于贝叶斯最优序列检测器的识别，并取得了良好的效果。这些实验结果表明，该方法具有较强的实用价值。

🎯 应用场景

该研究成果可应用于多个领域，例如：认知无线电网络中认知用户的行为建模、自动驾驶系统中驾驶员的意图推断、以及金融市场中交易员的策略分析。通过准确地推断智能体的效用函数，可以更好地理解其行为，并进行更有效的决策。

📄 摘要（原文）

This monograph, spanning three chapters, explores Inverse Reinforcement Learning (IRL). The first two chapters view inverse reinforcement learning (IRL) through the lens of revealed preferences from microeconomics while the third chapter studies adaptive IRL via Langevin dynamics stochastic gradient algorithms. Chapter uses classical revealed preference theory (Afriat's theorem and extensions) to identify constrained utility maximizers based on observed agent actions. This allows for the reconstruction of set-valued estimates of an agent's utility. We illustrate this procedure by identifying the presence of a cognitive radar and reconstructing its utility function. The chapter also addresses the construction of a statistical detector for utility maximization behavior when agent actions are corrupted by noise. Chapter 2 studies Bayesian IRL. It investigates how an analyst can determine if an observed agent is a rationally inattentive Bayesian utility maximizer (i.e., simultaneously optimizing its utility and observation likelihood). The chapter discusses inverse stopping-time problems, focusing on reconstructing the continuation and stopping costs of a Bayesian agent operating over a random horizon. We then apply this IRL methodology to identify the presence of a Bayes-optimal sequential detector. Additionally, Chapter 2 provides a concise overview of discrete choice models, inverse Bayesian filtering, and inverse stochastic gradient algorithms for adaptive IRL. Finally, Chapter 3 introduces an adaptive IRL approach utilizing passive Langevin dynamics. This method aims to track time-varying utility functions given noisy and misspecified gradients. In essence, the adaptive IRL algorithms presented in Chapter 3 can be conceptualized as inverse stochastic gradient algorithms, as they learn the utility function in real-time while a stochastic gradient algorithm is in operation.