BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning

📄 arXiv: 2511.22210v1 📥 PDF

作者: Junsung Park

分类: cs.LG, cs.RO

发布日期: 2025-11-27

备注: 8 pages, 3 figures

💡 一句话要点

提出BiCQL-ML，通过双层保守Q学习解决离线逆强化学习中的奖励函数恢复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线逆强化学习 保守Q学习 双层优化 奖励函数恢复 最大似然估计

📋 核心要点

  1. 离线逆强化学习旨在从固定数据集中恢复奖励函数，现有方法易受分布外泛化影响。
  2. BiCQL-ML通过双层优化框架，联合学习保守Q函数和奖励函数，避免显式策略学习。
  3. 实验表明，BiCQL-ML在奖励恢复和策略性能上优于现有离线IRL方法，具有显著提升。

📝 摘要（中文）

本文提出了一种名为BiCQL-ML的策略无关的离线逆强化学习（IRL）算法，旨在仅利用固定的演示数据恢复能够解释专家行为的奖励函数，而无需任何额外的在线交互。BiCQL-ML在一个双层框架中联合优化奖励函数和保守Q函数，从而避免了显式的策略学习。该方法交替进行以下步骤：（i）在当前奖励下，通过保守Q学习（CQL）学习保守Q函数；（ii）更新奖励参数，以最大化专家行为的预期Q值，同时抑制对分布外行为的过度泛化。该过程可以被视为软价值匹配原则下的最大似然估计。我们提供了理论保证，证明BiCQL-ML收敛到一个奖励函数，在该函数下，专家策略是软最优的。实验结果表明，在标准离线强化学习基准测试中，与现有的离线IRL基线相比，BiCQL-ML在奖励恢复和下游策略性能方面均有所提高。

🔬 方法详解

问题定义：离线逆强化学习（IRL）的目标是从静态的专家演示数据中恢复潜在的奖励函数，该奖励函数能够解释专家的行为。现有的离线IRL方法面临一个关键挑战：如何避免对分布外（out-of-distribution）行为的过度泛化，因为离线数据不包含所有可能的行为状态转移，导致学习到的奖励函数可能不准确，进而影响下游策略的性能。

核心思路：BiCQL-ML的核心思路是通过双层优化框架，同时学习一个保守的Q函数和一个奖励函数。保守Q函数通过惩罚未见过的状态-动作对的Q值，来抑制对分布外行为的过度泛化。奖励函数则通过最大化专家行为的Q值来学习，同时避免过度泛化。这种联合优化使得奖励函数能够更好地解释专家行为，并且能够泛化到未见过的状态。

技术框架：BiCQL-ML的整体框架是一个双层优化过程。在内层循环中，使用保守Q学习（CQL）算法，在当前奖励函数下学习一个保守的Q函数。在外层循环中，更新奖励函数的参数，以最大化专家行为的预期Q值，同时使用正则化项来惩罚对分布外行为的过度泛化。这两个循环交替进行，直到收敛。

关键创新：BiCQL-ML的关键创新在于将保守Q学习（CQL）与最大似然估计相结合，形成一个双层优化框架。通过CQL学习保守Q函数，可以有效地抑制对分布外行为的过度泛化，从而提高奖励函数的准确性。同时，通过最大化专家行为的Q值，可以确保学习到的奖励函数能够很好地解释专家行为。这种双层优化框架避免了显式的策略学习，从而简化了算法的复杂性。

关键设计：BiCQL-ML的关键设计包括：1) 使用CQL算法学习保守Q函数，CQL通过在Q函数的损失函数中添加一个惩罚项，来降低未见过的状态-动作对的Q值。2) 使用最大似然估计来更新奖励函数，目标是最大化专家行为的Q值，同时使用正则化项来惩罚对分布外行为的过度泛化。3) 双层优化框架，内层循环更新Q函数，外层循环更新奖励函数，两个循环交替进行，直到收敛。具体的损失函数和网络结构细节在论文中有详细描述，此处未知。

📊 实验亮点

实验结果表明，BiCQL-ML在标准离线强化学习基准测试中，与现有的离线IRL基线相比，在奖励恢复和下游策略性能方面均有所提高。具体的性能提升幅度未知，但摘要中明确指出BiCQL-ML优于现有方法，表明其具有显著的优势。

🎯 应用场景

BiCQL-ML可应用于医疗、自动驾驶、机器人等领域，在这些领域中，通常存在大量的专家演示数据，但与环境的在线交互成本很高。例如，可以利用BiCQL-ML从医生手术录像中学习奖励函数，从而训练机器人辅助手术；或者从人类驾驶数据中学习奖励函数，从而改进自动驾驶系统的决策能力。该研究有助于降低强化学习的应用门槛，并提高其在实际场景中的应用效果。

📄 摘要（原文）

Offline inverse reinforcement learning (IRL) aims to recover a reward function that explains expert behavior using only fixed demonstration data, without any additional online interaction. We propose BiCQL-ML, a policy-free offline IRL algorithm that jointly optimizes a reward function and a conservative Q-function in a bi-level framework, thereby avoiding explicit policy learning. The method alternates between (i) learning a conservative Q-function via Conservative Q-Learning (CQL) under the current reward, and (ii) updating the reward parameters to maximize the expected Q-values of expert actions while suppressing over-generalization to out-of-distribution actions. This procedure can be viewed as maximum likelihood estimation under a soft value matching principle. We provide theoretical guarantees that BiCQL-ML converges to a reward function under which the expert policy is soft-optimal. Empirically, we show on standard offline RL benchmarks that BiCQL-ML improves both reward recovery and downstream policy performance compared to existing offline IRL baselines.