Continual Deep Reinforcement Learning for Decentralized Satellite Routing
作者: Federico Lozano-Cuadra, Beatriz Soret, Israel Leyva-Mayorga, Petar Popovski
分类: cs.LG, cs.IT
发布日期: 2024-05-20
备注: 30 pages, 11 figures
💡 一句话要点
提出基于持续深度强化学习的去中心化卫星路由方案
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 多智能体系统 卫星网络 去中心化路由 持续学习 联邦学习 模型预测
📋 核心要点
- 传统卫星路由方法依赖集中式控制，需要大量通信开销以获取全局网络状态，难以适应动态变化的环境。
- 提出一种基于持续深度强化学习的多智能体去中心化路由方案，每个卫星独立决策，仅需与邻近卫星交换有限信息。
- 实验表明，该方案在无拥塞情况下性能与最短路径算法相当，且能有效适应拥塞，并通过模型预测和联邦学习解决模型差异问题。
📝 摘要（中文）
本文提出了一种完整的基于持续深度强化学习(DRL)的低地球轨道卫星星座去中心化路由解决方案。该方案需要解决多个挑战，包括卫星的部分知识和持续移动，以及系统中时变的不确定性来源，如流量、通信链路或通信缓冲区。我们采用了一种多智能体方法，其中每个卫星作为一个独立的决策智能体，同时基于从附近智能体收到的反馈来获取对环境的有限知识。该解决方案分为两个阶段。首先，离线学习阶段依赖于去中心化决策和使用全局经验训练的全局深度神经网络(DNN)。然后，在线阶段使用本地的、板载的、预训练的DNN，需要持续学习以适应环境，这可以通过两种不同的方式完成：(1)模型预测，其中星座的可预测条件被每个卫星利用，与下一个卫星共享本地模型；(2)联邦学习(FL)，其中每个智能体的模型首先在集群级别合并，然后在全局参数服务器中聚合。结果表明，在没有高拥塞的情况下，所提出的多智能体DRL框架实现了与最短路径解决方案相同的端到端性能，但后者假设需要密集的通信开销，以便在集中式节点上实时了解整个系统的网络，而我们的方案只需要在相邻卫星之间进行有限的反馈交换。重要的是，我们的解决方案能够很好地适应拥塞条件，并利用负载较少的路径。此外，模型随时间的差异很容易通过预测（应用于短期对齐）和联邦学习（用于长期对齐）之间的协同作用来解决。
🔬 方法详解
问题定义：论文旨在解决低地球轨道(LEO)卫星星座中去中心化路由问题。现有集中式路由方法需要大量的通信开销来维护全局网络状态，难以适应LEO卫星网络拓扑的动态变化和链路的不确定性。此外，传统的路由算法在面对拥塞时可能无法有效利用网络资源。
核心思路：论文的核心思路是采用多智能体深度强化学习(DRL)方法，将每个卫星视为一个独立的智能体，通过与环境交互学习路由策略。每个智能体仅需与邻近卫星交换有限的信息，从而实现去中心化决策。为了适应环境的动态变化，采用持续学习方法，包括模型预测和联邦学习，以保持模型的有效性。
技术框架：该方案分为两个阶段：离线学习阶段和在线学习阶段。在离线学习阶段，使用全局经验训练一个全局深度神经网络(DNN)，为每个卫星提供初始策略。在在线学习阶段，每个卫星使用本地的、预训练的DNN进行决策，并通过持续学习来适应环境。持续学习包括两个部分：模型预测，即每个卫星与下一个卫星共享本地模型，以利用星座的可预测条件；联邦学习，即每个智能体的模型首先在集群级别合并，然后在全局参数服务器中聚合。
关键创新：该方案的关键创新在于将持续学习应用于多智能体DRL，以解决LEO卫星网络中环境的动态变化问题。通过模型预测和联邦学习的结合，可以有效地解决模型随时间的差异，并保持模型的有效性。此外，该方案采用去中心化决策，减少了通信开销，提高了系统的可扩展性。
关键设计：论文中关键的设计包括：(1)使用深度神经网络(DNN)作为策略网络；(2)采用多智能体强化学习框架，每个卫星作为一个独立的智能体；(3)使用模型预测和联邦学习进行持续学习；(4)设计合适的奖励函数，以鼓励智能体选择负载较少的路径。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在没有高拥塞的情况下，所提出的多智能体DRL框架实现了与最短路径解决方案相同的端到端性能，但通信开销更低。在拥塞条件下，该方案能够更好地适应，并利用负载较少的路径。通过模型预测和联邦学习的结合，可以有效地解决模型随时间的差异，并保持模型的有效性。
🎯 应用场景
该研究成果可应用于低地球轨道卫星星座的路由优化，提高卫星网络的资源利用率和可靠性。该方案的去中心化特性使其更易于扩展和部署，能够有效应对动态变化的网络环境。此外，该方法也可推广到其他分布式系统，如无线传感器网络和物联网。
📄 摘要（原文）
This paper introduces a full solution for decentralized routing in Low Earth Orbit satellite constellations based on continual Deep Reinforcement Learning (DRL). This requires addressing multiple challenges, including the partial knowledge at the satellites and their continuous movement, and the time-varying sources of uncertainty in the system, such as traffic, communication links, or communication buffers. We follow a multi-agent approach, where each satellite acts as an independent decision-making agent, while acquiring a limited knowledge of the environment based on the feedback received from the nearby agents. The solution is divided into two phases. First, an offline learning phase relies on decentralized decisions and a global Deep Neural Network (DNN) trained with global experiences. Then, the online phase with local, on-board, and pre-trained DNNs requires continual learning to evolve with the environment, which can be done in two different ways: (1) Model anticipation, where the predictable conditions of the constellation are exploited by each satellite sharing local model with the next satellite; and (2) Federated Learning (FL), where each agent's model is merged first at the cluster level and then aggregated in a global Parameter Server. The results show that, without high congestion, the proposed Multi-Agent DRL framework achieves the same E2E performance as a shortest-path solution, but the latter assumes intensive communication overhead for real-time network-wise knowledge of the system at a centralized node, whereas ours only requires limited feedback exchange among first neighbour satellites. Importantly, our solution adapts well to congestion conditions and exploits less loaded paths. Moreover, the divergence of models over time is easily tackled by the synergy between anticipation, applied in short-term alignment, and FL, utilized for long-term alignment.