AI-Driven Risk-Aware Scheduling for Active Debris Removal Missions

📄 arXiv: 2409.17012v1 📥 PDF

作者: Antoine Poupon, Hugo de Rohan Willner, Pierre Nikitits, Adam Abdin

分类: cs.AI

发布日期: 2024-09-25

💡 一句话要点

提出基于深度强化学习的风险感知主动碎片移除任务规划方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动碎片移除 深度强化学习 任务规划 风险感知 轨道转移飞行器

📋 核心要点

  1. 现有主动碎片移除任务规划方法难以应对轨道环境的动态变化和任务需求的不确定性。
  2. 论文提出一种基于深度强化学习的自主决策规划模型，使轨道转移飞行器能够自主规划最优的碎片移除序列，并考虑碰撞风险。
  3. 实验结果表明，该方法能够找到最优的任务计划，并自主更新规划以应对高碰撞风险的碎片。

📝 摘要（中文）

低地球轨道（LEO）中碎片数量的激增对空间可持续性和航天器安全构成了重大威胁。主动碎片移除（ADR）已成为解决此问题的一种有前景的方法，它利用轨道转移飞行器（OTV）来促进碎片离轨，从而降低未来碰撞风险。然而，ADR任务非常复杂，需要精确的规划，以使任务在经济上可行且在技术上有效。此外，这些服务任务需要高度的自主能力，以便在不断变化的轨道条件和任务需求下进行规划。本文开发了一种基于深度强化学习（DRL）的自主决策规划模型，用于训练OTV以规划最佳的碎片移除顺序。结果表明，使用所提出的框架，智能体可以找到最佳的任务计划，并学习自主更新规划，以包括对具有高碰撞风险的碎片的风险处理。

🔬 方法详解

问题定义：论文旨在解决主动碎片移除（ADR）任务中的最优规划问题。现有的ADR任务规划方法通常依赖于预先设定的规则或优化算法，难以适应动态变化的轨道环境和任务需求，尤其是在面对高碰撞风险的碎片时，缺乏有效的风险处理机制。

核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能体，使其能够自主学习最优的碎片移除序列。通过将ADR任务建模为一个马尔可夫决策过程（MDP），智能体可以通过与环境的交互，学习到在不同轨道条件和任务需求下，如何选择最佳的碎片移除目标，并有效地处理高碰撞风险。

技术框架：该方法的技术框架主要包括以下几个模块：1) 环境建模：建立一个模拟LEO轨道环境的模型，包括碎片的位置、速度、大小等信息。2) 状态表示：将轨道环境信息和任务需求转化为智能体可以理解的状态向量。3) 动作空间设计：定义智能体可以执行的动作，例如选择下一个移除的碎片目标。4) 奖励函数设计：设计一个能够引导智能体学习最优策略的奖励函数，例如考虑移除碎片的数量、降低碰撞风险等因素。5) DRL算法选择：选择合适的DRL算法，例如深度Q网络（DQN）或策略梯度算法，训练智能体。

关键创新：该论文的关键创新在于将深度强化学习应用于ADR任务规划，并引入了风险感知的机制。传统的ADR任务规划方法通常只关注移除碎片的数量或总成本，而忽略了碰撞风险。该论文通过在奖励函数中引入风险因素，使智能体能够学习到在移除碎片的同时，有效地降低碰撞风险。

关键设计：论文中奖励函数的设计是关键。奖励函数需要综合考虑多个因素，例如移除碎片的数量、降低碰撞风险、燃料消耗等。具体来说，奖励函数可以设计为：R = α * N - β * Risk - γ * Fuel，其中N表示移除的碎片数量，Risk表示碰撞风险，Fuel表示燃料消耗，α、β、γ是权重系数，用于平衡不同因素之间的重要性。此外，网络结构的选择也至关重要，可以选择卷积神经网络（CNN）或循环神经网络（RNN）等，具体取决于状态表示的形式。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过实验验证了所提出方法的有效性。实验结果表明，基于深度强化学习的智能体能够找到最优的碎片移除序列，并有效地降低碰撞风险。与传统的基于规则的规划方法相比，该方法能够显著提高任务的效率和安全性。具体性能数据未知。

🎯 应用场景

该研究成果可应用于实际的主动碎片移除任务规划，提高任务的自主性和效率，降低任务风险。此外，该方法还可以扩展到其他航天任务规划领域，例如卫星星座部署、空间态势感知等，具有广阔的应用前景和重要的实际价值。

📄 摘要（原文）

The proliferation of debris in Low Earth Orbit (LEO) represents a significant threat to space sustainability and spacecraft safety. Active Debris Removal (ADR) has emerged as a promising approach to address this issue, utilising Orbital Transfer Vehicles (OTVs) to facilitate debris deorbiting, thereby reducing future collision risks. However, ADR missions are substantially complex, necessitating accurate planning to make the missions economically viable and technically effective. Moreover, these servicing missions require a high level of autonomous capability to plan under evolving orbital conditions and changing mission requirements. In this paper, an autonomous decision-planning model based on Deep Reinforcement Learning (DRL) is developed to train an OTV to plan optimal debris removal sequencing. It is shown that using the proposed framework, the agent can find optimal mission plans and learn to update the planning autonomously to include risk handling of debris with high collision risk.