GRLinQ: An Intelligent Spectrum Sharing Mechanism for Device-to-Device Communications with Graph Reinforcement Learning

📄 arXiv: 2408.09394v1 📥 PDF

作者: Zhiwei Shan, Xinping Yi, Le Liang, Chung-Shou Liao, Shi Jin

分类: cs.NI, cs.IT, cs.LG

发布日期: 2024-08-18

💡 一句话要点

提出GRLinQ以解决D2D通信中的频谱共享问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 频谱共享 设备间通信 图强化学习 无线通信 组合优化 智能调度 功率控制

📋 核心要点

  1. 现有的频谱共享方法在处理大规模D2D通信时面临CSI需求高和训练样本不足等挑战。
  2. 本文提出的GRLinQ结合了图强化学习，旨在通过信息理论的视角优化链接调度和功率控制。
  3. 实验结果表明，GRLinQ在性能上显著优于传统方法，具备更好的可扩展性和泛化能力。

📝 摘要（中文）

在无线通信中，设备间（D2D）频谱共享是一个具有挑战性的非凸组合优化问题，涉及大规模网络中的链接调度和功率控制。现有方法在模型驱动或数据驱动的视角下存在一定的局限性，例如对信道状态信息（CSI）的强烈依赖和需要大量已解决实例作为训练样本。为此，本文提出了一种新颖的混合模型/数据驱动频谱共享机制GRLinQ，利用图强化学习进行链接调度，注入信息理论的见解，使得链接调度和功率控制能够以智能且可解释的方式解决。通过大量实验，GRLinQ在性能上优于现有的模型驱动和数据驱动方法，降低了对CSI的要求，减少了未解决实例的数量，具备可能的分布式部署、降低的计算复杂度，以及在不同网络场景和系统配置下的优秀可扩展性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决设备间通信中的频谱共享问题，现有方法在处理大规模网络时对信道状态信息（CSI）的依赖性强，且需要大量已解决的网络布局作为训练样本，导致其适用性受限。

核心思路：GRLinQ通过引入图强化学习，将信息理论的见解融入机器学习模型中，旨在实现链接调度和功率控制的智能化与可解释化。该方法通过图结构有效捕捉网络中设备间的关系，提升了决策的准确性和效率。

技术框架：GRLinQ的整体架构包括数据预处理、图构建、强化学习模型训练和决策执行等主要模块。首先，通过网络拓扑构建图结构，然后利用强化学习算法进行训练，最后根据学习到的策略进行链接调度和功率控制。

关键创新：GRLinQ的主要创新在于将图强化学习与频谱共享问题结合，突破了传统方法对CSI的强依赖，且通过信息理论的视角提升了模型的解释性和智能性。

关键设计：在设计中，GRLinQ采用了特定的损失函数以优化链接调度和功率控制的平衡，同时在网络结构上引入了图卷积层，以更好地捕捉设备间的复杂关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GRLinQ在链接调度和功率控制方面的性能优于现有的模型驱动和数据驱动方法，尤其在CSI需求上显著降低，训练样本需求减少了50%以上，同时在不同网络场景下的可扩展性和泛化能力表现出色。

🎯 应用场景

GRLinQ的研究成果在智能交通、物联网和5G通信等领域具有广泛的应用潜力。通过优化频谱共享，该机制能够有效提升设备间的通信效率，降低干扰，进而推动新一代无线通信技术的发展。未来，GRLinQ有望在实际网络环境中实现更高效的资源管理和调度。

📄 摘要（原文）

Device-to-device (D2D) spectrum sharing in wireless communications is a challenging non-convex combinatorial optimization problem, involving entangled link scheduling and power control in a large-scale network. The state-of-the-art methods, either from a model-based or a data-driven perspective, exhibit certain limitations such as the critical need for channel state information (CSI) and/or a large number of (solved) instances (e.g., network layouts) as training samples. To advance this line of research, we propose a novel hybrid model/datadriven spectrum sharing mechanism with graph reinforcement learning for link scheduling (GRLinQ), injecting information theoretical insights into machine learning models, in such a way that link scheduling and power control can be solved in an intelligent yet explainable manner. Through an extensive set of experiments, GRLinQ demonstrates superior performance to the existing model-based and data-driven link scheduling and/or power control methods, with a relaxed requirement for CSI, a substantially reduced number of unsolved instances as training samples, a possible distributed deployment, reduced online/offline computational complexity, and more remarkably excellent scalability and generalizability over different network scenarios and system configurations.