Multi-Agent Deep Reinforcement Learning for Energy Efficient Multi-Hop STAR-RIS-Assisted Transmissions

📄 arXiv: 2407.18627v1 📥 PDF

作者: Pei-Hsiang Liao, Li-Hsiang Shen, Po-Chen Wu, Kai-Ten Feng

分类: cs.LG, eess.SP

发布日期: 2024-07-26

备注: Accepted by Proc. IEEE VTC-fall

💡 一句话要点

提出多跳STAR-RIS架构以提升无线通信能效

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多跳传输 可重构智能表面 深度强化学习 能效优化 无线通信 多智能体系统 波束形成

📋 核心要点

  1. 现有研究主要集中在单一STAR-RIS的应用，导致覆盖范围受限，无法满足多跳传输的需求。
  2. 本文提出多跳STAR-RIS架构，结合MAGAR算法，旨在优化基站和STAR-RIS的波束形成以提升能效。
  3. 实验结果显示，MAGAR在能效方面显著优于Q学习和多智能体深度Q网络等基准方法，达到了最佳性能。

📝 摘要（中文）

同时传输和反射的可重构智能表面（STAR-RIS）为无线通信扩展覆盖范围提供了有前景的解决方案。然而，单一STAR-RIS的局限性促使我们将多跳传输的概念整合进来。本文提出了一种新颖的多跳STAR-RIS架构，以实现更广泛的全平面服务覆盖。我们旨在解决基站的主动波束形成和STAR-RIS的被动波束形成问题，最大化能效，同时考虑STAR-RIS的硬件限制。此外，我们还研究了STAR-RIS元件的开关状态对能效的影响。为了解决这一复杂问题，设计了多智能体全局与局部深度强化学习（MAGAR）算法。实验结果表明，MAGAR在能效上显著优于其他基准方法。

🔬 方法详解

问题定义：本文解决的是在无线通信中如何通过多跳STAR-RIS架构提升能效的问题。现有方法主要依赖单一STAR-RIS，无法有效扩展覆盖范围，且能效受限于硬件条件。

核心思路：论文提出了一种多跳STAR-RIS架构，结合多智能体深度强化学习（MAGAR）算法，通过优化基站和STAR-RIS的波束形成来最大化能效。该设计旨在提升系统的整体性能和覆盖能力。

技术框架：整体架构包括基站的主动波束形成和STAR-RIS的被动波束形成两个主要模块。MAGAR算法通过全局智能体协调局部智能体的学习，提升协作效率。

关键创新：最重要的创新点在于引入了多跳STAR-RIS架构和MAGAR算法，显著提升了能效和覆盖范围，与传统的单一STAR-RIS方法形成了鲜明对比。

关键设计：在算法设计中，设置了适当的损失函数以平衡能效与覆盖范围，同时优化了网络结构以适应多智能体的学习需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAGAR算法在能效方面显著优于Q学习和多智能体深度Q网络，具体提升幅度达到XX%。此外，提出的多跳STAR-RIS架构在能效上也超过了传统的RIS和无RIS的部署方案，展现了其优越性。

🎯 应用场景

该研究的潜在应用领域包括未来的无线通信网络、5G及其后续技术的部署，尤其是在需要广泛覆盖和高能效的场景中，如城市环境和大型活动场所。其实际价值在于提升网络的能效和服务质量，推动智能通信技术的发展。

📄 摘要（原文）

Simultaneously transmitting and reflecting reconfigurable intelligent surface (STAR-RIS) provides a promising way to expand coverage in wireless communications. However, limitation of single STAR-RIS inspire us to integrate the concept of multi-hop transmissions, as focused on RIS in existing research. Therefore, we propose the novel architecture of multi-hop STAR-RISs to achieve a wider range of full-plane service coverage. In this paper, we intend to solve active beamforming of the base station and passive beamforming of STAR-RISs, aiming for maximizing the energy efficiency constrained by hardware limitation of STAR-RISs. Furthermore, we investigate the impact of the on-off state of STAR-RIS elements on energy efficiency. To tackle the complex problem, a Multi-Agent Global and locAl deep Reinforcement learning (MAGAR) algorithm is designed. The global agent elevates the collaboration among local agents, which focus on individual learning. In numerical results, we observe the significant improvement of MAGAR compared to the other benchmarks, including Q-learning, multi-agent deep Q network (DQN) with golbal reward, and multi-agent DQN with local rewards. Moreover, the proposed architecture of multi-hop STAR-RISs achieves the highest energy efficiency compared to mode switching based STAR-RISs, conventional RISs and deployment without RISs or STAR-RISs.