Simplex-enabled Safe Continual Learning Machine

📄 arXiv: 2409.05898v2 📥 PDF

作者: Hongpeng Cao, Yanbing Mao, Yihao Cai, Lui Sha, Marco Caccamo

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-09-05 (更新: 2024-10-06)

💡 一句话要点

提出基于Simplex逻辑的安全持续学习机，用于安全攸关自主系统。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 安全强化学习 持续学习 Simplex逻辑 自主系统 Sim2Real 机器人控制

📋 核心要点

  1. 现有安全强化学习方法难以保证在真实环境中持续学习的安全性，尤其是在面对Sim2Real差距和未知情况时。
  2. SeC-Learning Machine利用Simplex逻辑，结合高性能学生模型和高保证教师模型，实现安全备份和不安全学习纠正。
  3. 在倒立摆和四足机器人上的实验表明，该方法在持续学习过程中能保证安全，并有效应对Sim2Real差距。

📝 摘要（中文）

本文提出了一种名为SeC-Learning Machine的安全持续学习机，用于安全攸关的自主系统。SeC-Learning Machine建立在Simplex逻辑（即“用简单性控制复杂性”）和物理规则的深度强化学习（Phy-DRL）之上。SeC-Learning Machine由HP（高性能）-Student、HA（高保证）-Teacher和Coordinator组成。具体而言，HP-Student是一个预训练的高性能但未完全验证的Phy-DRL，它在真实环境中持续学习，以调整动作策略以确保安全。相比之下，HA-Teacher是一个任务简化、基于物理模型且经过验证的设计。作为补充，HA-Teacher有两个任务：备份安全和纠正不安全的学习。Coordinator触发HP-Student和HA-Teacher之间的交互和切换。在三个交互组件的支持下，SeC-Learning Machine可以i) 保证终身安全（即，在任何持续学习阶段的安全保证，无论HP-Student的成功或收敛如何），ii) 解决Sim2Real差距，以及iii) 学习容忍真实环境中未知的未知情况。在倒立摆系统和真实四足机器人的实验表明，与建立在最先进的安全DRL框架上的持续学习以及解决Sim2Real差距的方法相比，SeC-Learning Machine具有显著的特点。

🔬 方法详解

问题定义：论文旨在解决安全攸关自主系统在真实环境中持续学习的安全问题。现有方法，特别是基于深度强化学习的安全方法，在面对Sim2Real差距、环境变化以及未知的未知情况时，难以保证系统的安全性。这些方法通常依赖于对环境的精确建模，或者需要大量的安全样本进行训练，这在实际应用中往往难以满足。

核心思路：论文的核心思路是利用Simplex逻辑，将系统分解为高性能但可能不安全的学生模型（HP-Student）和高保证但性能较低的教师模型（HA-Teacher）。HP-Student负责探索和学习，HA-Teacher负责在HP-Student出现不安全行为时进行干预，保证系统的安全性。通过协调器（Coordinator）在两者之间进行切换，实现安全和性能的平衡。

技术框架：SeC-Learning Machine的整体架构包含三个主要模块：HP-Student、HA-Teacher和Coordinator。HP-Student是一个预训练的Phy-DRL模型，负责在真实环境中持续学习。HA-Teacher是一个基于物理模型的简化控制器，经过验证可以保证安全。Coordinator负责监控HP-Student的行为，并在其可能导致不安全状态时切换到HA-Teacher。

关键创新：该方法最重要的创新在于将Simplex逻辑应用于持续学习，通过高保证的教师模型来保障学习过程的安全性。与传统的安全强化学习方法相比，该方法不需要对环境进行精确建模，也不需要大量的安全样本，能够更好地应对Sim2Real差距和未知情况。

关键设计：HP-Student采用物理规则的深度强化学习（Phy-DRL），利用物理模型来指导学习过程，提高学习效率和安全性。HA-Teacher采用任务简化的物理模型，保证其可验证性。Coordinator的设计需要仔细考虑切换策略，以在安全性和性能之间取得平衡。具体的损失函数和网络结构的选择取决于具体的应用场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在倒立摆和四足机器人上的实验结果表明，SeC-Learning Machine能够在持续学习过程中保证系统的安全性，并有效应对Sim2Real差距。与现有的安全强化学习方法相比，该方法在保证安全性的同时，能够实现更高的性能和更好的适应性。具体的数据指标（例如安全性指标、性能指标等）需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种安全攸关的自主系统，例如自动驾驶、机器人控制、航空航天等领域。通过保证系统在持续学习过程中的安全性，可以降低系统部署的风险，提高系统的可靠性和适应性。未来，该方法有望推广到更复杂的系统和更广泛的应用场景。

📄 摘要（原文）

This paper proposes the SeC-Learning Machine: Simplex-enabled safe continual learning for safety-critical autonomous systems. The SeC-learning machine is built on Simplex logic (that is, ``using simplicity to control complexity'') and physics-regulated deep reinforcement learning (Phy-DRL). The SeC-learning machine thus constitutes HP (high performance)-Student, HA (high assurance)-Teacher, and Coordinator. Specifically, the HP-Student is a pre-trained high-performance but not fully verified Phy-DRL, continuing to learn in a real plant to tune the action policy to be safe. In contrast, the HA-Teacher is a mission-reduced, physics-model-based, and verified design. As a complementary, HA-Teacher has two missions: backing up safety and correcting unsafe learning. The Coordinator triggers the interaction and the switch between HP-Student and HA-Teacher. Powered by the three interactive components, the SeC-learning machine can i) assure lifetime safety (i.e., safety guarantee in any continual-learning stage, regardless of HP-Student's success or convergence), ii) address the Sim2Real gap, and iii) learn to tolerate unknown unknowns in real plants. The experiments on a cart-pole system and a real quadruped robot demonstrate the distinguished features of the SeC-learning machine, compared with continual learning built on state-of-the-art safe DRL frameworks with approaches to addressing the Sim2Real gap.