Offline Reinforcement Learning via Inverse Optimization

📄 arXiv: 2502.20030v2 📥 PDF

作者: Ioannis Dimanidis, Tolga Ok, Peyman Mohajerin Esfahani

分类: cs.LG, eess.SY, math.OC

发布日期: 2025-02-27 (更新: 2025-10-16)

备注: preprint

💡 一句话要点

提出基于逆优化的离线强化学习算法，解决连续状态空间下的分布偏移问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 逆优化 模型预测控制 分布偏移 凸优化

📋 核心要点

  1. 离线强化学习面临分布偏移问题，传统方法难以有效利用离线数据。
  2. 利用逆优化思想，结合凸次优损失函数，学习策略并缓解分布偏移。
  3. 引入鲁棒MPC专家，利用事后信息指导模型，提升算法的鲁棒性和性能。

📝 摘要（中文）

本文提出了一种新颖的离线强化学习(ORL)算法，用于连续状态和动作空间，该算法借鉴了逆优化(IO)在各个应用领域的成功经验，并利用了IO文献中的凸损失函数，即“次优损失”。为了缓解ORL问题中常见的分布偏移，我们进一步采用了一种鲁棒的非因果模型预测控制(MPC)专家，该专家使用来自模型失配的事后信息来引导动态系统的标称模型。与现有文献不同，我们的鲁棒MPC专家具有精确且易于处理的凸重构。在研究的第二部分，我们表明，由所提出的凸损失函数训练的IO假设类具有足够的表达能力，并且在MuJoCo基准测试的低数据状态下，与最先进(SOTA)的方法相比，实现了具有竞争力的性能，同时使用的参数减少了三个数量级，从而显著减少了计算资源。为了方便结果的重现，我们提供了一个开源软件包，实现了所提出的算法和实验。

🔬 方法详解

问题定义：离线强化学习(ORL)旨在利用静态数据集训练策略，而无需与环境进行交互。然而，由于行为策略与学习策略之间的差异，ORL算法容易受到分布偏移的影响，导致性能下降。现有方法通常难以在连续状态和动作空间中有效地缓解这种分布偏移，并且可能需要大量的计算资源。

核心思路：本文的核心思路是将逆优化(IO)的思想引入ORL，通过学习一个奖励函数，使得离线数据集中的行为策略在该奖励函数下表现良好。同时，利用凸次优损失函数来训练IO模型，从而保证学习过程的稳定性和效率。此外，引入鲁棒模型预测控制(MPC)专家，利用事后信息来指导模型的学习，进一步缓解分布偏移。

技术框架：该算法主要包含两个模块：IO模型学习模块和鲁棒MPC专家模块。IO模型学习模块负责学习奖励函数，该模块使用离线数据集和凸次优损失函数来训练IO模型。鲁棒MPC专家模块负责生成指导信号，该模块利用事后信息和动态系统的标称模型来生成控制序列，从而指导IO模型的学习。整体流程是：首先，利用离线数据训练IO模型；然后，利用鲁棒MPC专家生成指导信号；最后，利用指导信号和离线数据进一步优化IO模型。

关键创新：本文的关键创新在于将逆优化与鲁棒MPC相结合，用于解决ORL中的分布偏移问题。传统的IO方法通常难以处理复杂的动态系统，而本文提出的鲁棒MPC专家能够有效地利用事后信息，从而提高IO模型的学习效率和鲁棒性。此外，本文提出的凸次优损失函数能够保证学习过程的稳定性和效率。

关键设计：本文的关键设计包括：(1) 使用凸次优损失函数来训练IO模型，该损失函数能够保证学习过程的稳定性和效率；(2) 引入鲁棒MPC专家，利用事后信息来指导模型的学习，从而缓解分布偏移；(3) 对鲁棒MPC专家进行凸重构，使其具有精确且易于处理的凸优化形式；(4) 在MuJoCo基准测试中使用低数据状态，验证算法的性能。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该算法在MuJoCo基准测试中，使用比SOTA方法少三个数量级的参数，在低数据状态下实现了具有竞争力的性能。这表明该算法具有较高的效率和泛化能力，能够在资源有限的情况下有效地学习策略。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、推荐系统等领域。在这些领域中，通常难以获取大量的在线交互数据，因此离线强化学习具有重要的应用价值。通过利用离线数据学习策略，可以降低试错成本，提高系统性能，并加速智能系统的部署。

📄 摘要（原文）

Inspired by the recent successes of Inverse Optimization (IO) across various application domains, we propose a novel offline Reinforcement Learning (ORL) algorithm for continuous state and action spaces, leveraging the convex loss function called ``sub-optimality loss" from the IO literature. To mitigate the distribution shift commonly observed in ORL problems, we further employ a robust and non-causal Model Predictive Control (MPC) expert steering a nominal model of the dynamics using in-hindsight information stemming from the model mismatch. Unlike the existing literature, our robust MPC expert enjoys an exact and tractable convex reformulation. In the second part of this study, we show that the IO hypothesis class, trained by the proposed convex loss function, enjoys ample expressiveness and achieves competitive performance comparing with the state-of-the-art (SOTA) methods in the low-data regime of the MuJoCo benchmark while utilizing three orders of magnitude fewer parameters, thereby requiring significantly fewer computational resources. To facilitate the reproducibility of our results, we provide an open-source package implementing the proposed algorithms and the experiments.