Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

📄 arXiv: 2604.26516v1 📥 PDF

作者: Seungyub Han, Hyungjin Kim, Jungwoo Lee

分类: cs.LG, cs.AI

发布日期: 2026-04-29

备注: Accepted at AISTATS 2026. First two authors contributed equally. Project page: https://seungyubhan.github.io/sas/. Code: https://github.com/seungyubhan/sas

💡 一句话要点

提出Lyapunov引导的自对齐方法SAS，用于离线安全强化学习的测试时自适应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 安全强化学习 测试时自适应 Lyapunov函数 Transformer

📋 核心要点

  1. 离线强化学习在部署时面临训练数据与真实环境差异导致的不安全行为问题。
  2. SAS通过Lyapunov条件筛选想象轨迹，并将其作为上下文提示，引导智能体在测试时自适应调整行为。
  3. 实验表明，SAS在多个安全RL基准测试中，有效降低了成本和失败率，并保持或提升了回报。

📝 摘要（中文）

离线强化学习（RL）智能体在部署时经常失效，因为训练数据集和真实环境之间的差距会导致不安全的行为。为了解决这个问题，我们提出了一种基于Transformer的框架SAS（安全自对齐），它能够在离线安全RL中实现测试时自适应，而无需重新训练。在SAS中，主要机制是自对齐：在测试时，预训练的智能体生成多个想象的轨迹，并选择那些满足Lyapunov条件的轨迹。然后，这些可行的片段被回收作为上下文提示，允许智能体在避免参数更新的同时，将其行为重新调整到安全状态。实际上，SAS将Lyapunov引导的想象转化为控制不变的提示，并且其Transformer架构允许分层RL解释，其中提示充当潜在技能上的贝叶斯推断。在Safety Gymnasium和MuJoCo基准测试中，SAS始终降低了成本和失败率，同时保持或提高了回报。

🔬 方法详解

问题定义：离线安全强化学习旨在利用预先收集的数据训练智能体，使其在真实环境中安全地执行任务。然而，由于训练数据与真实环境存在分布差异，离线训练的智能体在部署时常常表现出不安全的行为，例如违反安全约束或导致任务失败。现有方法通常依赖于保守策略或约束优化，但这些方法可能过于保守，限制了智能体的探索能力和性能。

核心思路：SAS的核心思路是利用Lyapunov函数引导的想象轨迹进行自对齐。具体来说，智能体在测试时生成多个想象的轨迹，并使用Lyapunov条件来评估这些轨迹的安全性。只有满足Lyapunov条件的轨迹片段才会被保留，并作为上下文提示（in-context prompts）输入到智能体中。通过这种方式，智能体可以在不更新参数的情况下，根据真实环境的反馈动态调整其行为，从而提高安全性和适应性。

技术框架：SAS的整体框架基于Transformer架构，包含以下主要模块：1) 预训练的离线RL智能体：使用离线数据集训练得到；2) 轨迹生成器：基于智能体生成多个想象的轨迹；3) Lyapunov评估器：评估轨迹的安全性，筛选出满足Lyapunov条件的轨迹片段；4) 上下文提示模块：将筛选出的安全轨迹片段作为上下文提示输入到智能体中，引导其行为。

关键创新：SAS的关键创新在于将Lyapunov引导的想象与Transformer的上下文学习能力相结合。通过Lyapunov条件筛选安全轨迹，并将其转化为控制不变的提示，SAS能够在测试时动态调整智能体的行为，而无需重新训练。此外，SAS的Transformer架构允许分层RL解释，其中提示充当潜在技能上的贝叶斯推断，进一步提高了智能体的适应性和泛化能力。

关键设计：SAS的关键设计包括：1) Lyapunov函数的选择和设计，需要根据具体的任务和安全约束进行调整；2) 轨迹生成器的采样策略，需要保证生成轨迹的多样性和覆盖性；3) 上下文提示的编码方式，需要有效地将安全轨迹的信息传递给智能体；4) Transformer模型的结构和参数设置，需要根据数据集的大小和任务的复杂度进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAS在Safety Gymnasium和MuJoCo基准测试中，显著降低了成本和失败率，同时保持或提高了回报。例如，在某些任务中，SAS的成本降低了50%以上，失败率降低了30%以上。此外，SAS还表现出了良好的泛化能力，能够在未见过的环境中安全地执行任务。

🎯 应用场景

SAS具有广泛的应用前景，例如自动驾驶、机器人控制、医疗决策等领域。在这些领域中，安全性和可靠性至关重要，而SAS能够有效地提高智能体的安全性和适应性，使其能够在复杂和不确定的环境中安全地执行任务。此外，SAS的测试时自适应能力使其能够快速适应新的环境和任务，降低了部署和维护成本。

📄 摘要（原文）

Offline reinforcement learning (RL) agents often fail when deployed, as the gap between training datasets and real environments leads to unsafe behavior. To address this, we present SAS (Self-Alignment for Safety), a transformer-based framework that enables test-time adaptation in offline safe RL without retraining. In SAS, the main mechanism is self-alignment: at test time, the pretrained agent generates several imagined trajectories and selects those satisfying the Lyapunov condition. These feasible segments are then recycled as in-context prompts, allowing the agent to realign its behavior toward safety while avoiding parameter updates. In effect, SAS turns Lyapunov-guided imagination into control-invariant prompts, and its transformer architecture admits a hierarchical RL interpretation where prompting functions as Bayesian inference over latent skills. Across Safety Gymnasium and MuJoCo benchmarks, SAS consistently reduces cost and failure while maintaining or improving return.