Run Time Assured Reinforcement Learning for Six Degree-of-Freedom Spacecraft Inspection

📄 arXiv: 2406.11795v1 📥 PDF

作者: Kyle Dunlap, Kochise Bennett, David van Wijk, Nathaniel Hamilton, Kerianne Hobbs

分类: eess.SY

发布日期: 2024-06-17

💡 一句话要点

提出基于运行时保障的强化学习方法，用于六自由度航天器安全巡检任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 运行时保障 控制障碍函数 航天器巡检 六自由度控制

📋 核心要点

  1. 强化学习在复杂任务中表现优异，但其试错特性可能导致不安全行为，尤其是在航天器巡检等安全攸关的应用中。
  2. 论文提出了一种基于运行时保障（RTA）的强化学习方法，通过控制障碍函数在训练过程中强制执行安全约束，确保智能体的安全性。
  3. 实验结果表明，所提出的方法能够在保证安全性的前提下，有效地训练智能体完成六自由度航天器巡检任务，并对比了不同频率下RTA的性能。

📝 摘要（中文）

强化学习（RL）的试错方法虽然在许多复杂任务中表现出色，但也可能导致不安全行为。运行时保障（RTA）方法可用于确保智能体在训练期间的安全性，使其能够安全地探索环境。本文研究了RTA在六自由度航天器巡检任务的强化学习训练中的应用，其中智能体必须控制其平动和姿态运动以检查被动目标航天器。基于航天器的位置、速度、姿态、温度和功率，开发了多个安全约束，并在训练期间通过控制障碍函数同时强制执行这些约束。本文还探讨了以不同的频率模拟RL智能体和RTA，以最佳地平衡训练性能和安全保障。对使用和不使用RTA的智能体进行了训练，并在包括巡检百分比和燃料使用量在内的多个指标上比较了性能。

🔬 方法详解

问题定义：论文旨在解决六自由度航天器巡检任务中，传统强化学习训练过程存在的不安全性问题。现有方法在训练过程中可能违反安全约束，导致航天器发生碰撞、过热或电力耗尽等风险。

核心思路：论文的核心思路是在强化学习训练过程中引入运行时保障（RTA）机制，通过控制障碍函数（Control Barrier Functions, CBF）实时监控智能体的状态，并对控制指令进行修正，以确保其满足预设的安全约束。这样可以在保证智能体探索能力的同时，避免其进入不安全区域。

技术框架：整体框架包含强化学习智能体和运行时保障模块。强化学习智能体负责生成控制指令，运行时保障模块接收智能体的控制指令和当前状态信息，然后通过控制障碍函数判断当前状态是否安全。如果存在安全风险，则运行时保障模块会修改控制指令，使其满足安全约束，然后再将最终的控制指令发送给航天器。整个过程形成一个闭环反馈系统。

关键创新：论文的关键创新在于将运行时保障技术与强化学习相结合，并将其应用于六自由度航天器巡检任务。通过控制障碍函数，可以同时考虑多个安全约束，并实时调整控制指令，从而保证智能体在训练过程中的安全性。此外，论文还探讨了RL智能体和RTA模块以不同频率运行对训练效果的影响。

关键设计：论文中，控制障碍函数的设计至关重要，它需要准确地描述航天器的安全约束，包括位置、速度、姿态、温度和功率等。此外，论文还研究了RL智能体和RTA模块的模拟频率对训练性能和安全保障的影响。具体参数设置和网络结构等细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

论文通过实验验证了所提出的基于运行时保障的强化学习方法在六自由度航天器巡检任务中的有效性。实验结果表明，与没有RTA的强化学习智能体相比，使用RTA的智能体能够在保证安全性的前提下，完成巡检任务，并有效降低燃料消耗。具体的性能数据和提升幅度在摘要中未给出，属于未知信息。

🎯 应用场景

该研究成果可应用于各种需要安全保障的强化学习任务，例如自动驾驶、机器人控制、以及其他航天任务。通过引入运行时保障机制，可以有效地避免智能体在训练和部署过程中发生意外事故，提高系统的可靠性和安全性，具有重要的实际应用价值和潜在的未来影响。

📄 摘要（原文）

The trial and error approach of reinforcement learning (RL) results in high performance across many complex tasks, but it can also lead to unsafe behavior. Run time assurance (RTA) approaches can be used to assure safety of the agent during training, allowing it to safely explore the environment. This paper investigates the application of RTA during RL training for a 6-Degree-of-Freedom spacecraft inspection task, where the agent must control its translational motion and attitude to inspect a passive chief spacecraft. Several safety constraints are developed based on position, velocity, attitude, temperature, and power of the spacecraft, and are all enforced simultaneously during training through the use of control barrier functions. This paper also explores simulating the RL agent and RTA at different frequencies to best balance training performance and safety assurance. The agent is trained with and without RTA, and the performance is compared across several metrics including inspection percentage and fuel usage.