Computationally and Sample Efficient Safe Reinforcement Learning Using Adaptive Conformal Prediction

📄 arXiv: 2503.17678v1 📥 PDF

作者: Hao Zhou, Yanze Zhang, Wenhao Luo

分类: cs.RO

发布日期: 2025-03-22

备注: 7 pages, accepted to ICRA 2025

💡 一句话要点

提出基于自适应共形预测的安全强化学习框架，提升计算效率和样本效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 自适应共形预测 控制障碍函数 高斯过程 正交傅里叶特征

📋 核心要点

  1. 安全强化学习面临的挑战是如何准确量化未知模型的不确定性，从而生成可证明安全的控制策略。
  2. 本文提出了一种基于自适应共形预测（ACP）的安全强化学习框架，结合正交傅里叶特征（QFF）和控制障碍函数（CBF），实现安全探索和控制。
  3. 理论证明和仿真结果表明，该框架在保证安全性的同时，提高了计算效率和样本效率，实现了接近最优的控制性能。

📝 摘要（中文）

本文提出了一种具有可证明样本效率的 episodic 安全学习框架，该框架在在线控制任务中，对于具有量化不确定性的各种模型选择都保持稳健。具体而言，我们首先采用正交傅里叶特征（QFF）对高斯过程（GP）的核函数进行近似，以实现对未知动力学的有效近似。然后，使用自适应共形预测（ACP）来量化在线观测中的不确定性，并将其与控制障碍函数（CBF）相结合，以表征在学习动力学下的不确定性感知安全控制约束。最后，将基于乐观的探索策略与基于 ACP 的 CBF 相结合，以实现安全探索和接近最优的安全非线性控制。理论证明和仿真结果证明了所提出框架的有效性和效率。

🔬 方法详解

问题定义：在学习型自主系统中，安全至关重要。现有的安全强化学习方法在准确量化模型不确定性、保证控制策略安全性和提高样本效率方面存在不足，尤其是在模型选择和在线控制任务中。现有方法难以在保证安全性的前提下，有效地探索环境并学习最优策略。

核心思路：本文的核心思路是利用自适应共形预测（ACP）来量化模型的不确定性，并将其融入到控制障碍函数（CBF）中，从而实现对安全约束的有效建模。同时，结合正交傅里叶特征（QFF）来近似高斯过程，提高计算效率。通过乐观探索策略，在保证安全性的前提下，鼓励智能体探索未知区域，从而学习到更优的策略。

技术框架：该框架主要包含以下几个模块：1) 使用正交傅里叶特征（QFF）近似高斯过程，用于学习未知动力学模型。2) 使用自适应共形预测（ACP）量化在线观测中的不确定性。3) 将ACP量化的不确定性与控制障碍函数（CBF）结合，构建不确定性感知的安全控制约束。4) 采用基于乐观的探索策略，在满足安全约束的前提下，鼓励智能体探索环境。5) 通过求解优化问题，得到安全且接近最优的控制策略。

关键创新：该方法最重要的创新点在于将自适应共形预测（ACP）引入到安全强化学习中，用于量化模型的不确定性。与传统的基于高斯过程的不确定性估计方法相比，ACP具有更强的适应性和鲁棒性，能够更好地应对在线学习中的动态变化。此外，结合QFF和CBF，进一步提高了计算效率和安全性。

关键设计：在QFF中，需要选择合适的傅里叶特征数量和核函数参数。在ACP中，需要设置置信水平和调整参数。在CBF中，需要选择合适的障碍函数和安全裕度。乐观探索策略的设计需要平衡探索和利用，避免过度探索导致的安全风险。这些参数的选择和调整会直接影响算法的性能和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过理论证明和仿真实验验证了所提出框架的有效性和效率。实验结果表明，该方法在保证安全性的前提下，能够实现接近最优的控制性能，并且具有较高的样本效率。与传统的安全强化学习方法相比，该方法在计算效率和安全性方面都有显著提升。具体性能数据未知。

🎯 应用场景

该研究成果可应用于各种安全攸关的自主系统，例如自动驾驶、机器人导航、无人机控制等。通过量化模型的不确定性，可以提高系统在未知环境中的安全性和可靠性，降低事故发生的风险。此外，该方法还可以应用于医疗、金融等领域，为决策提供更可靠的依据。

📄 摘要（原文）

Safety is a critical concern in learning-enabled autonomous systems especially when deploying these systems in real-world scenarios. An important challenge is accurately quantifying the uncertainty of unknown models to generate provably safe control policies that facilitate the gathering of informative data, thereby achieving both safe and optimal policies. Additionally, the selection of the data-driven model can significantly impact both the real-time implementation and the uncertainty quantification process. In this paper, we propose a provably sample efficient episodic safe learning framework that remains robust across various model choices with quantified uncertainty for online control tasks. Specifically, we first employ Quadrature Fourier Features (QFF) for kernel function approximation of Gaussian Processes (GPs) to enable efficient approximation of unknown dynamics. Then the Adaptive Conformal Prediction (ACP) is used to quantify the uncertainty from online observations and combined with the Control Barrier Functions (CBF) to characterize the uncertainty-aware safe control constraints under learned dynamics. Finally, an optimism-based exploration strategy is integrated with ACP-based CBFs for safe exploration and near-optimal safe nonlinear control. Theoretical proofs and simulation results are provided to demonstrate the effectiveness and efficiency of the proposed framework.