Multi-Agent Reinforcement Learning Counteracts Delayed CSI in Multi-Satellite Systems

📄 arXiv: 2603.16470v1 📥 PDF

作者: Marios Aristodemou, Yasaman Omid, Sangarapillai Lambotharan, Mahsa Derakhshan, Lajos Hanzo

分类: cs.IT, cs.AI, eess.SP

发布日期: 2026-03-17

备注: 12 pages, 6 Figures, Submit to IEEE Transactions of Vehicular Technology. It has been reviewed once

💡 一句话要点

提出DS-PPO算法，解决多卫星系统中因信道状态信息延迟导致的速率优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多卫星系统 强化学习 多智能体强化学习 信道状态信息 近端策略优化 资源分配 卫星通信

📋 核心要点

  1. 卫星通信中，由于传播延迟导致CSI过时，严重影响服务质量，现有方法难以有效应对。
  2. 论文提出双阶段近端策略优化（DS-PPO）算法，通过分阶段优化，提升多卫星协作的总速率。
  3. 实验结果表明，DS-PPO算法对CSI不完善具有鲁棒性，并能有效提高系统总速率。

📝 摘要（中文）

本文研究了多卫星系统下行链路传输问题，其中多个卫星作为分布式基站服务于地面移动用户。由于地面用户和卫星之间存在高传播延迟，导致卫星端信道状态信息（CSI）过时，信道估计面临挑战。为了应对过时的CSI，本文提出了一种多智能体强化学习（MARL）算法，旨在最大化用户的总速率。我们设计了一种新颖的双层优化程序，称为双阶段近端策略优化（DS-PPO），以解决MARL中大型连续动作空间以及独立且非同分布（non-IID）环境的问题。具体而言，DS-PPO的第一阶段最大化单个卫星的总速率，第二阶段最大化所有卫星协同形成分布式多天线基站时的总速率。数值结果表明，DS-PPO对CSI缺陷具有鲁棒性，并能提高总速率。此外，我们还提供了DS-PPO的收敛性分析以及计算复杂度。

🔬 方法详解

问题定义：论文旨在解决多卫星通信系统中，由于卫星与地面用户之间长时延导致的信道状态信息（CSI）过时问题。过时的CSI会严重影响下行链路的传输性能，尤其是在多卫星协同通信场景下。现有方法难以有效利用过时的CSI进行资源分配和波束成形，导致系统总速率下降。

核心思路：论文的核心思路是利用多智能体强化学习（MARL）来学习一种鲁棒的资源分配策略，该策略能够适应过时的CSI并最大化系统总速率。通过将每个卫星视为一个智能体，并设计合适的奖励函数，智能体可以学习到协作策略，从而提高整体性能。DS-PPO算法通过双层优化结构，分别优化单个卫星的性能和多卫星协作的性能，从而更好地适应复杂的环境。

技术框架：整体框架包含多个卫星作为智能体，地面用户作为环境。每个卫星根据本地观测到的过时CSI，通过策略网络选择动作（例如，功率分配和波束成形向量）。然后，环境根据所有卫星的动作和真实的信道状态，计算每个用户的速率，并将其作为奖励反馈给智能体。DS-PPO算法包含两个阶段：第一阶段，每个卫星独立地最大化其自身的总速率；第二阶段，所有卫星协作，共同最大化整个系统的总速率。

关键创新：论文的关键创新在于提出了双阶段近端策略优化（DS-PPO）算法，该算法能够有效地解决MARL中大型连续动作空间和非独立同分布（non-IID）环境的问题。传统的PPO算法在处理大型动作空间时可能面临收敛困难，而DS-PPO通过分阶段优化，降低了每个阶段的动作空间维度，从而提高了训练效率和稳定性。此外，DS-PPO的设计考虑了多卫星之间的协作关系，能够更好地利用分布式资源。

关键设计：DS-PPO算法的关键设计包括：1) 双层优化结构，分别优化单个卫星和多卫星协作的性能；2) 近端策略优化（PPO）算法，用于更新策略网络；3) 奖励函数的设计，旨在最大化系统总速率，同时考虑公平性；4) 策略网络的设计，采用深度神经网络来学习从CSI到动作的映射。具体的参数设置和网络结构在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的DS-PPO算法在应对CSI不完善的情况下，能够显著提高系统总速率。与传统的单智能体强化学习算法相比，DS-PPO算法能够更好地利用多卫星之间的协作关系，从而获得更高的性能。具体的性能提升幅度取决于信道延迟和卫星数量等因素，但总体而言，DS-PPO算法能够实现显著的性能增益。

🎯 应用场景

该研究成果可应用于未来的卫星通信系统，尤其是在需要高吞吐量和低延迟的场景中，例如全球互联网接入、物联网、应急通信等。通过利用多智能体强化学习，可以实现更智能、更高效的卫星资源管理，从而提高用户体验和系统容量。该方法还可以推广到其他无线通信场景，例如蜂窝网络和无线传感器网络。

📄 摘要（原文）

The integration of satellite communication networks with next-generation (NG) technologies is a promising approach towards global connectivity. However, the quality of services is highly dependant on the availability of accurate channel state information (CSI). Channel estimation in satellite communications is challenging due to the high propagation delay between terrestrial users and satellites, which results in outdated CSI observations on the satellite side. In this paper, we study the downlink transmission of multiple satellites acting as distributed base stations (BS) to mobile terrestrial users. We propose a multi-agent reinforcement learning (MARL) algorithm which aims for maximising the sum-rate of the users, while coping with the outdated CSI. We design a novel bi-level optimisation, procedure themes as dual stage proximal policy optimisation (DS-PPO), for tackling the problem of large continuous action spaces as well as of independent and non-identically distributed (non-IID) environments in MARL. Specifically, the first stage of DS-PPO maximises the sum-rate for an individual satellite and the second stage maximises the sum-rate when all the satellites cooperate to form a distributed multi-antenna BS. Our numerical results demonstrate the robustness of DS-PPO to CSI imperfections as well as the sum-rate improvement attached by the use of DS-PPO. In addition, we provide the convergence analysis for the DS-PPO along with the computational complexity.