Federated Deep Reinforcement Learning for Energy Efficient Multi-Functional RIS-Assisted Low-Earth Orbit Networks
作者: Li-Hsiang Shen, Jyun-Jhe Huang, Kai-Ten Feng, Lie-Liang Yang, Jen-Ming Wu
分类: cs.LG, cs.AI, eess.SP
发布日期: 2025-01-19
期刊: ICC 2025 - IEEE International Conference on Communications
DOI: 10.1109/ICC52391.2025.11160945
💡 一句话要点
提出基于联邦深度强化学习的低轨卫星多功能RIS辅助节能网络
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 低地球轨道卫星 多功能RIS 联邦学习 深度强化学习 能源效率优化
📋 核心要点
- 传统RIS仅具备信号反射能力，在低轨卫星网络中能量效率提升有限，尤其是在阴影区域。
- 提出基于联邦学习增强的多智能体深度确定性策略梯度（FEMAD）方案，优化MF-RIS的配置参数。
- 实验结果表明，与传统方法相比，该方案显著提高了能源效率，并验证了LEO-MF-RIS架构的有效性。
📝 摘要（中文）
本文提出了一种新型网络架构，该架构在低地球轨道（LEO）部署多功能可重构智能表面（MF-RIS）。与仅具有信号反射能力的传统RIS不同，MF-RIS可以反射、折射和放大信号，以及从无线信号中收集能量。考虑到阴影区域太阳能不可用时的高能量需求，在LEO中部署MF-RIS以增强信号覆盖范围并提高能源效率（EE）。为此，我们通过确定MF-RIS配置的最佳参数（包括放大和相移、能量收集比率以及LEO传输波束成形）来制定长期EE优化问题。为了解决复杂的非凸和非线性问题，设计了一种联邦学习增强的多智能体深度确定性策略梯度（FEMAD）方案。每个智能体的多智能体DDPG可以从其与环境的交互中提供最佳行动策略，而联邦学习可以实现多智能体之间的隐藏信息交换。数值结果表明，与其他基准（包括集中式深度强化学习以及分布式多智能体深度确定性策略梯度（DDPG））相比，我们可以观察到显着的EE改进。此外，所提出的LEO-MF-RIS架构已证明其有效性，与MF-RIS中固定/无能量收集、仅反射的传统RIS以及没有RIS/MF-RIS的部署场景相比，实现了最高的EE性能。
🔬 方法详解
问题定义：论文旨在解决低地球轨道（LEO）网络中，由于阴影区域太阳能不可用导致的高能量需求问题。传统RIS仅具备信号反射能力，无法有效提升能源效率。现有方法难以优化多功能RIS（MF-RIS）的复杂配置参数，包括放大和相移、能量收集比率以及LEO传输波束成形，从而无法充分发挥MF-RIS的潜力。
核心思路：论文的核心思路是利用多功能RIS（MF-RIS）同时具备信号反射、折射、放大和能量收集的能力，并通过联邦学习增强的多智能体深度确定性策略梯度（FEMAD）算法，优化MF-RIS的配置参数，从而在提高信号覆盖范围的同时，最大化能源效率。采用联邦学习是为了在多个智能体之间共享信息，克服分布式训练中的数据孤岛问题。
技术框架：整体框架包括：1) LEO卫星搭载MF-RIS，服务地面用户；2) 将能源效率优化问题建模为长期优化问题，涉及MF-RIS配置参数和LEO传输波束成形；3) 使用多智能体DDPG算法，每个智能体负责控制一部分MF-RIS参数；4) 利用联邦学习聚合各个智能体的模型参数，实现信息共享；5) 通过仿真环境进行训练和评估。
关键创新：论文的关键创新在于：1) 提出了一种新型的LEO-MF-RIS网络架构，利用MF-RIS的多功能性提高能源效率；2) 设计了一种联邦学习增强的多智能体深度确定性策略梯度（FEMAD）算法，能够有效解决复杂的非凸和非线性优化问题，并实现多智能体之间的信息共享。
关键设计：关键设计包括：1) MF-RIS的配置参数，包括放大和相移、能量收集比率；2) LEO传输波束成形的设计；3) 多智能体DDPG算法的网络结构和奖励函数设计，奖励函数需要考虑能源效率和信号覆盖范围；4) 联邦学习的聚合策略，例如FedAvg。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的FEMAD方案在能源效率方面优于其他基准方法，包括集中式深度强化学习和分布式多智能体DDPG。与固定/无能量收集的MF-RIS、仅反射的传统RIS以及没有RIS/MF-RIS的部署场景相比，所提出的LEO-MF-RIS架构实现了最高的能源效率。具体性能提升数据未知，但摘要强调了“显著的EE改进”。
🎯 应用场景
该研究成果可应用于低地球轨道卫星通信网络，尤其是在需要高能量效率和广覆盖的场景中，例如偏远地区的通信、灾难救援通信等。通过优化MF-RIS的配置，可以有效降低卫星的能量消耗，延长卫星的使用寿命，并提高通信质量。该技术还可扩展到其他无线通信系统，例如无人机通信、地面无线网络等。
📄 摘要（原文）
In this paper, a novel network architecture that deploys the multi-functional reconfigurable intelligent surface (MF-RIS) in low-Earth orbit (LEO) is proposed. Unlike traditional RIS with only signal reflection capability, the MF-RIS can reflect, refract, and amplify signals, as well as harvest energy from wireless signals. Given the high energy demands in shadow regions where solar energy is unavailable, MF-RIS is deployed in LEO to enhance signal coverage and improve energy efficiency (EE). To address this, we formulate a long-term EE optimization problem by determining the optimal parameters for MF-RIS configurations, including amplification and phase-shifts, energy harvesting ratios, and LEO transmit beamforming. To address the complex non-convex and non-linear problem, a federated learning enhanced multi-agent deep deterministic policy gradient (FEMAD) scheme is designed. Multi-agent DDPG of each agent can provide the optimal action policy from its interaction to environments, whereas federated learning enables the hidden information exchange among multi-agents. In numerical results, we can observe significant EE improvements compared to the other benchmarks, including centralized deep reinforcement learning as well as distributed multi-agent deep deterministic policy gradient (DDPG). Additionally, the proposed LEO-MF-RIS architecture has demonstrated its effectiveness, achieving the highest EE performance compared to the scenarios of fixed/no energy harvesting in MF-RIS, traditional reflection-only RIS, and deployment without RISs/MF-RISs.