Constrained Reinforcement Learning Using Successor Representations

📄 arXiv: 2607.24057v1 📥 PDF

作者: Michael Girstl, Alexander Mattick, Christopher Mutschler

分类: cs.LG

发布日期: 2026-07-27

备注: published in Transactions for Machine Learning Research 2026

期刊: Michael Girstl, Alexander Mattick, & Christopher Mutschler (2026). Constrained Reinforcement Learning Using Successor Representations. Transactions on Machine Learning Research

💡 一句话要点

提出SafeDSR以解决强化学习中的安全约束问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 安全约束 深度学习 后继表示 动态环境 策略重训练 适应性

📋 核心要点

  1. 现有强化学习方法在应对动态环境中的安全约束时缺乏灵活性，难以适应成本函数的变化。
  2. 本文提出的SafeDSR方法通过引入可学习的权重矩阵，使得策略能够快速适应新的成本结构，提升了适应性。
  3. 在二维导航环境中，SafeDSR在简单导航任务上表现出竞争力，且灵活性显著提高。

📝 摘要（中文）

现实世界中的强化学习依赖于将安全约束纳入策略的能力。常见的建模方法是引入额外的成本信号，以独立于奖励信号通知智能体不希望的行为。然而，现有方法难以适应由于领域转移或障碍物移动等引起的成本函数变化。为了解决这一问题，本文提出了安全深度后继表示（SafeDSR），该方法通过引入一个可学习的权重矩阵来解耦学习的价值函数，从而快速重新训练策略以适应新的成本结构。实验表明，SafeDSR在简单导航任务中表现出竞争力，同时具有更高的灵活性。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在面对动态环境中安全约束时的适应性不足问题。现有方法在成本函数变化时，往往需要重新调整整个网络，导致灵活性不足。

核心思路：SafeDSR的核心思想是通过引入一个可学习的权重矩阵，解耦价值函数与动态、奖励及成本之间的关系，从而实现快速的策略重训练。这种设计使得在环境成本结构变化时，仅需更新权重矩阵，而无需重新训练整个网络。

技术框架：SafeDSR的整体架构包括一个深度后继表示模块，该模块通过学习环境的动态、奖励和成本来生成价值函数。具体流程包括：环境建模、权重矩阵的学习和策略更新。

关键创新：SafeDSR的主要创新在于引入了一个单一的可学习权重矩阵，这一设计与传统方法的整体网络重训练形成鲜明对比，显著提高了策略的适应性和灵活性。

关键设计：在技术细节上，SafeDSR采用了监督学习的方式来更新权重矩阵，损失函数设计上考虑了价值函数与成本信号的解耦，确保了在变化环境中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SafeDSR在二维导航任务中表现出色，相较于传统方法，其灵活性显著提高，能够快速适应新的成本结构，且在简单导航任务上保持竞争力，展示了其在动态环境中的有效性。

🎯 应用场景

该研究的潜在应用场景包括自动驾驶、机器人导航以及其他需要在动态环境中进行决策的领域。通过提高强化学习算法的适应性，SafeDSR能够在复杂的现实世界中更好地保证安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Real-world Reinforcement Learning depends on the ability to formulate safety constraints into a policy. A common way to model such constraints is to introduce an additional cost signal in the Markov Decision Process, which notifies the agent of unwanted behavior independently of the reward signal. Unfortunately, current methods are hard to adapt to changes in the cost function introduced by, e.g., domain shift or obstacles moving over time. The lack of adaptability means that policies are too unflexible to deal with complex real-world conditions. We propose the Safe Deep Successor Representation (SafeDSR), a novel method that allows quick retraining of policies towards new cost structures. SafeDSR extends the Deep Successor Representation (Kulkarni et al., 2016) to Constrained Reinforcement Learning by introducing a single learnable weight matrix to decouple the learned value function across dynamics, rewards, and costs. This matrix can be updated in a supervised manner instead of having to adapt the whole network if the cost structure of the environment changes. We demonstrate this ability in a freely configurable two-dimensional navigation environment and show that our method is competitive on a simple navigation task while being considerably more flexible