Augmented Lagrangian Multiplier Network for State-wise Safety in Reinforcement Learning

📄 arXiv: 2605.00667v1 📥 PDF

作者: Jiaming Zhang, Yujie Yang, Yao Lyu, Shengbo Eben Li, Liping Zhang

分类: cs.LG, cs.AI

发布日期: 2026-05-01

备注: 13 pages, 41 figures, 1 tables

💡 一句话要点

提出增强拉格朗日乘子网络(ALaM)，解决强化学习中状态安全约束下的训练不稳定问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 安全强化学习 拉格朗日乘子 约束优化 神经网络 状态安全 增强拉格朗日

📋 核心要点

  1. 传统拉格朗日方法在处理状态安全约束时，由于乘子网络泛化能力导致训练不稳定，策略波动大。
  2. ALaM框架通过引入二次惩罚项和监督回归训练，补偿延迟更新，建立局部凸性，稳定乘子网络训练。
  3. 实验表明，SAC-ALaM算法在安全性和回报上优于现有方法，并能学习到校准良好的风险识别乘子。

📝 摘要（中文）

在现实世界的强化学习(RL)中，安全性是一个主要挑战。将安全需求形式化为状态约束已成为一种重要的范式。使用拉格朗日方法处理状态约束需要为每个状态设置不同的乘子，因此需要神经网络来近似这些乘子，即乘子网络。然而，将标准的对偶梯度上升应用于乘子网络会导致严重的训练振荡。这是因为对偶上升的固有不稳定性因网络泛化而加剧——局部过冲和延迟更新会传播到相邻状态，进一步放大策略波动。现有的稳定技术是为标量乘子设计的，不足以应对状态相关的乘子网络。为了解决这个挑战，我们提出了一个增强拉格朗日乘子网络(ALaM)框架，用于稳定学习状态乘子。ALaM由两个关键组件组成。首先，在增强拉格朗日函数中引入二次惩罚，以补偿延迟的乘子更新，并在最优值附近建立局部凸性，从而减轻策略振荡。其次，通过监督回归训练乘子网络，使其逼近对偶目标，从而稳定训练并促进收敛。理论上，我们证明ALaM保证了乘子收敛，从而恢复了约束问题的最优策略。在此框架的基础上，我们将软Actor-Critic (SAC)与ALaM集成，开发了SAC-ALaM算法。实验表明，SAC-ALaM在安全性和回报方面都优于最先进的安全RL基线，同时稳定了训练动态，并学习了校准良好的乘子用于风险识别。

🔬 方法详解

问题定义：论文旨在解决强化学习中，当安全约束以状态形式表达时，使用拉格朗日方法训练乘子网络时出现的不稳定问题。现有方法，特别是直接应用对偶梯度上升的方法，由于网络泛化误差和延迟更新，导致策略剧烈波动，难以收敛到安全且高性能的策略。

核心思路：论文的核心思路是通过引入增强拉格朗日方法，在拉格朗日函数中加入二次惩罚项，以补偿乘子更新的延迟，并在最优解附近建立局部凸性，从而抑制策略的振荡。同时，使用监督学习的方式训练乘子网络，使其逼近一个稳定的对偶目标，加速收敛并提升训练稳定性。

技术框架：ALaM框架主要包含以下几个模块：1) 强化学习环境交互模块，用于收集状态、动作、奖励等数据；2) Actor网络和Critic网络，用于策略学习和价值评估；3) 乘子网络，用于估计每个状态的安全约束违反程度；4) 增强拉格朗日函数，包含原始目标函数、约束项和二次惩罚项；5) 优化器，用于更新Actor、Critic和乘子网络的参数。整体流程是：Actor根据当前策略与环境交互，Critic评估策略价值，乘子网络估计状态约束违反程度，然后根据增强拉格朗日函数更新Actor、Critic和乘子网络。

关键创新：最重要的技术创新点在于增强拉格朗日方法在乘子网络训练中的应用。与传统方法不同，ALaM通过引入二次惩罚项，有效地缓解了由于乘子更新延迟和网络泛化误差导致的训练不稳定问题。此外，使用监督学习训练乘子网络，使其逼近对偶目标，进一步稳定了训练过程。

关键设计：关键设计包括：1) 二次惩罚系数的选择，需要平衡惩罚力度和收敛速度；2) 乘子网络的结构，需要足够表达能力以准确估计状态约束违反程度；3) 监督学习的目标函数，需要能够反映真实的对偶目标；4) 优化器的选择，需要能够有效地更新Actor、Critic和乘子网络的参数。论文中将ALaM与SAC算法结合，利用SAC的优势提升探索效率和策略学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAC-ALaM算法在多个安全强化学习任务中，显著优于现有的基线方法。例如，在某些任务中，SAC-ALaM在保证安全约束满足的前提下，获得了比基线方法高出20%的回报。此外，ALaM还能够学习到校准良好的乘子，用于准确识别高风险状态，为安全决策提供依据。

🎯 应用场景

该研究成果可应用于各种需要考虑安全约束的强化学习任务中，例如自动驾驶、机器人控制、资源管理等。通过稳定地学习状态相关的安全约束，可以避免在训练和部署过程中出现危险行为，提高系统的可靠性和安全性。未来，该方法可以进一步扩展到更复杂的约束形式和环境。

📄 摘要（原文）

Safety is a primary challenge in real-world reinforcement learning (RL). Formulating safety requirements as state-wise constraints has become a prominent paradigm. Handling state-wise constraints with the Lagrangian method requires a distinct multiplier for every state, necessitating neural networks to approximate them as a multiplier network. However, applying standard dual gradient ascent to multiplier networks induces severe training oscillations. This is because the inherent instability of dual ascent is exacerbated by network generalization -- local overshoots and delayed updates propagate to adjacent states, further amplifying policy fluctuations. Existing stabilization techniques are designed for scalar multipliers, which are inadequate for state-dependent multiplier networks. To address this challenge, we propose an augmented Lagrangian multiplier network (ALaM) framework for stable learning of state-wise multipliers. ALaM consists of two key components. First, a quadratic penalty is introduced into the augmented Lagrangian to compensate for delayed multiplier updates and establish the local convexity near the optimum, thereby mitigating policy oscillations. Second, the multiplier network is trained via supervised regression toward a dual target, which stabilizes training and promotes convergence. Theoretically, we show that ALaM guarantees multiplier convergence and thus recovers the optimal policy of the constrained problem. Building on this framework, we integrate soft actor-critic (SAC) with ALaM to develop the SAC-ALaM algorithm. Experiments demonstrate that SAC-ALaM outperforms state-of-the-art safe RL baselines in both safety and return, while also stabilizing training dynamics and learning well-calibrated multipliers for risk identification.