Lifted Bellman Linear Programming for Offline Reinforcement Learning
作者: Hyukjun Yang, Jongchan Park, Narim Jeong, Donghwan Lee
分类: cs.LG, cs.AI
发布日期: 2026-09-21
💡 一句话要点
提出Lifted Bellman线性规划以解决离线强化学习中的价值估计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 Bellman最优性 线性规划 神经网络 价值估计 模型训练 高斯策略
📋 核心要点
- 现有的离线强化学习方法依赖于目标网络和EMA更新，导致训练过程不稳定，且难以处理多步目标的偏差修正。
- 本文提出Lifted Bellman线性规划（LBLP），通过不等式约束直接在评论家上施加Bellman最优性，避免了传统方法中的复杂性。
- 实验结果显示，ALBUM在OGBench上与FQL的平均性能相当，同时在参数使用和GPU内存占用上具有明显优势。
📝 摘要（中文）
离线强化学习通常通过最小化回归损失来训练评论家，使用目标网络的指数移动平均（EMA）更新来稳定引导值目标。本文提出了一种新的方法，通过不等式约束在评论家上施加样本内的Bellman最优性。我们构建了Lifted Bellman线性规划（LBLP），将Bellman最优性的线性规划特征提升到联合$(Q,V)$空间，使每个约束仅涉及数据集中状态-动作对。该方法的独特最小化器是样本内的最优对，并且沿着数据集轨迹的$K$步段的约束不会改变这一最小化器。实验表明，ALBUM在OGBench上使用单个评论家和高斯策略，匹配FQL的平均性能，并且在所有比较方法中使用最少的参数和最少的峰值GPU内存。
🔬 方法详解
问题定义：本文旨在解决离线强化学习中评论家训练的不稳定性和多步目标的偏差修正问题。现有方法依赖于目标网络和EMA更新，导致训练过程复杂且不稳定。
核心思路：通过引入Lifted Bellman线性规划（LBLP），在评论家上施加样本内的Bellman最优性，利用不等式约束来简化训练过程，避免了传统方法的复杂性。
技术框架：整体架构包括数据集的状态-动作对的提取、Bellman最优性的约束构建、以及通过神经网络实现的近似Lifted Bellman无约束最小化（ALBUM）。主要模块包括数据处理、约束构建和模型训练。
关键创新：最重要的技术创新在于将Bellman最优性提升到$(Q,V)$空间，使得每个约束仅涉及数据集中的状态-动作对，从而简化了训练过程并提高了稳定性。
关键设计：在设计中，采用了不等式约束和铰链损失函数，允许在有限的惩罚系数下恢复相同的解决方案。此外，ALBUM通过停止梯度的方式解耦$K$步回报目标，避免了对引导目标的平方回归。整体设计确保了在确定性动态下，LBLP解是独立于折扣因子和$K$的稳定点。
🖼️ 关键图片
📊 实验亮点
在OGBench上的实验结果表明，ALBUM使用单个评论家和高斯策略，达到了与FQL相当的平均性能，同时在参数使用和峰值GPU内存占用方面表现最佳，显示出显著的效率提升。
🎯 应用场景
该研究在离线强化学习领域具有广泛的应用潜力，尤其是在需要高效价值估计的场景，如机器人控制、自动驾驶和智能推荐系统。通过简化训练过程，该方法能够提高模型的稳定性和性能，推动实际应用的落地。
📄 摘要（原文）
Offline reinforcement learning (RL) typically trains a critic by minimizing a regression loss against bootstrapped value targets stabilized by target networks with exponential moving average (EMA) updates. Multi-step targets incorporate behavior-policy actions and therefore require off-policy correction. We instead impose in-sample Bellman optimality on the critic through inequality constraints. We formulate the Lifted Bellman Linear Program (LBLP), which lifts the linear programming characterization of Bellman optimality to the joint $(Q,V)$ space so that every constraint involves only state-action pairs in the dataset. Its unique minimizer is the in-sample optimal pair, and constraints along $K$-step segments of dataset trajectories leave this minimizer unchanged for any rollout policy and horizon. Under deterministic dynamics, this minimizer lies between the best dataset return and the optimal value. Relaxing the constraints into hinge penalties recovers the same solution above a finite penalty coefficient in the tabular case. Approximate Lifted Bellman Unconstrained Minimization (ALBUM) implements this relaxation with neural networks and detaches the $K$-step rollout targets by stop gradient. Its objective contains no squared regression onto bootstrapped targets, so it can be trained without target networks or EMA updates. Under deterministic dynamics, the LBLP solution is a stationary point of the detached update under a coefficient condition independent of $γ$ and $K$, and the inequality constraints allow discounted returns along dataset trajectories to serve as lower bounds without off-policy correction or action chunking. On OGBench, ALBUM uses a single critic with a Gaussian policy, matches the average performance of FQL, and is comparable to recent action-chunking methods, while using the fewest parameters and the least peak GPU memory among all compared methods.