Cooperative Deep Reinforcement Learning for Fair RIS Allocation
作者: Martin Mark Zan, Stefan Schwarz
分类: cs.NI, cs.LG, cs.MA
发布日期: 2026-03-26
💡 一句话要点
提出基于合作深度强化学习的公平RIS资源分配方案，解决多小区无线网络负载不均问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 可重构智能表面 RIS 多智能体强化学习 公平性 资源分配
📋 核心要点
- 多小区无线网络中，用户负载不均导致传统资源分配方法无法保证用户间的公平性，尤其是在引入RIS后。
- 论文提出一种基于合作深度强化学习的拍卖机制，基站通过学习调整竞标策略，实现RIS资源的动态公平分配。
- 实验结果表明，该方法能有效提升弱势小区用户的速率，在保证整体吞吐量的前提下，显著改善用户公平性。
📝 摘要（中文）
本文研究了在多小区无线网络中，当用户负载在基站间不均衡时，可重构智能表面（RIS）资源分配的新挑战。我们将RIS视为共享基础设施，需要在竞争的基站之间动态分配。为此，我们提出了一种同步升价拍卖机制。为了缓解小区间的性能不平衡，我们提出了一种具有公平意识的协作多智能体强化学习方法，其中基站根据预期效用增益和相对服务质量来调整其竞标策略。一个集中计算的、性能相关的公平性指标被纳入智能体的观察中，从而在没有基站间直接通信的情况下实现隐式协调。仿真结果表明，所提出的框架有效地将RIS资源重新分配给性能较弱的小区，在保持整体吞吐量的同时，显著提高了服务最差用户的速率。结果表明，面向公平性的RIS分配可以通过合作学习来实现，为平衡未来无线网络中的效率和公平性提供了一种灵活的工具。
🔬 方法详解
问题定义：论文旨在解决多小区无线网络中，由于用户负载不均衡，导致基站间服务质量差异大的问题。传统资源分配方法，包括静态分配或基于信道状态信息的动态分配，难以兼顾整体吞吐量和用户公平性。尤其是在引入RIS后，如何动态地在不同基站间分配RIS资源，以提升弱势用户的服务质量，是一个挑战。现有方法通常侧重于最大化系统吞吐量，而忽略了用户间的公平性，导致部分用户体验较差。
核心思路：论文的核心思路是将RIS视为一种共享资源，通过拍卖机制在基站间进行动态分配。每个基站作为一个智能体，通过深度强化学习学习最优的竞标策略。为了实现公平性，论文引入了一个集中计算的公平性指标，并将其作为智能体的观察状态的一部分。这样，基站在制定竞标策略时，不仅考虑自身的效用增益，还会考虑整体的公平性，从而实现RIS资源的公平分配。
技术框架：整体框架包含以下几个主要模块：1) RIS资源池：所有可用的RIS资源；2) 基站智能体：每个基站对应一个智能体，负责学习竞标策略；3) 拍卖机制：采用同步升价拍卖机制，基站同时提交竞标价格，资源分配给竞标价格最高的基站；4) 公平性指标计算模块：集中计算一个性能相关的公平性指标，反映基站间的服务质量差异；5) 强化学习训练模块：使用多智能体强化学习算法训练基站智能体，目标是最大化自身效用并提升整体公平性。
关键创新：论文的关键创新在于将公平性指标融入到多智能体强化学习框架中。传统的强化学习方法通常只关注个体或整体的奖励最大化，而忽略了公平性。通过将公平性指标作为智能体的观察状态，论文实现了在没有基站间直接通信的情况下，隐式地协调基站的行为，从而实现RIS资源的公平分配。这种方法避免了复杂的基站间通信和协调机制，降低了系统复杂度。
关键设计：论文采用深度Q网络（DQN）作为强化学习算法。状态空间包括基站自身的信道状态信息、用户负载信息以及公平性指标。动作空间为基站的竞标价格。奖励函数设计为基站的效用增益，同时引入一个与公平性指标相关的惩罚项，以鼓励基站关注公平性。公平性指标采用 Jain's Fairness Index 计算，反映基站间的服务质量差异。网络结构采用多层感知机（MLP），输入为状态空间，输出为每个动作的Q值。训练过程中，采用经验回放和目标网络等技术，以提高训练的稳定性和收敛速度。
🖼️ 关键图片
📊 实验亮点
仿真结果表明，所提出的方法能够显著提高服务最差用户的速率。与传统的资源分配方法相比，该方法能够将最差用户的速率提升20%以上，同时保持整体吞吐量基本不变。此外，实验还验证了公平性指标的有效性，通过调整公平性指标的权重，可以灵活地平衡效率和公平性。
🎯 应用场景
该研究成果可应用于未来的无线通信网络，尤其是在用户分布不均、基站负载差异大的场景下。通过动态调整RIS资源的分配，可以有效提升弱势用户的服务质量，改善用户体验，并提高网络的整体公平性。此外，该方法也可以推广到其他无线资源的管理和分配中，例如频谱资源、计算资源等。
📄 摘要（原文）
The deployment of reconfigurable intelligent surfaces (RISs) introduces new challenges for resource allocation in multi-cell wireless networks, particularly when user loads are uneven across base stations. In this work, we consider RISs as shared infrastructure that must be dynamically assigned among competing base stations, and we address this problem using a simultaneous ascending auction mechanism. To mitigate performance imbalances between cells, we propose a fairness-aware collaborative multi-agent reinforcement learning approach in which base stations adapt their bidding strategies based on both expected utility gains and relative service quality. A centrally computed performance-dependent fairness indicator is incorporated into the agents' observations, enabling implicit coordination without direct inter-base-station communication. Simulation results show that the proposed framework effectively redistributes RIS resources toward weaker-performing cells, substantially improving the rates of the worst-served users while preserving overall throughput. The results demonstrate that fairness-oriented RIS allocation can be achieved through cooperative learning, providing a flexible tool for balancing efficiency and equity in future wireless networks.