Handoff Design in User-Centric Cell-Free Massive MIMO Networks Using DRL

📄 arXiv: 2507.20966v2 📥 PDF

作者: Hussein A. Ammar, Raviraj Adve, Shahram Shahbazpanahi, Gary Boudreau, Israfil Bahceci

分类: cs.IT, cs.AI, cs.LG, cs.NI, eess.SP

发布日期: 2025-07-28 (更新: 2025-08-02)

备注: Published in IEEE Transactions on Communications (IEEE TCOM)

💡 一句话要点

提出基于DRL的用户中心Cell-Free Massive MIMO网络切换设计方案

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Cell-Free Massive MIMO 用户中心网络 深度强化学习 切换管理 Soft Actor-Critic

📋 核心要点

  1. UC-mMIMO中频繁切换(HO)导致资源分配释放开销，现有方法难以有效平衡速率和开销。
  2. 利用DRL学习HO策略，通过Soft Actor-Critic算法和连续动作空间，优化HO决策。
  3. 实验表明，该方案比离散空间方法更具可扩展性，能有效降低HO开销，响应时间小于0.4ms。

📝 摘要（中文）

在用户中心Cell-Free Massive MIMO (UC-mMIMO) 网络方案中，用户移动性需要更新服务接入点集合，以维持用户中心聚类。这种更新通常通过切换(HO)操作执行；然而，频繁的HO会导致与资源分配和释放相关的开销。本文提出了一种基于深度强化学习(DRL)的解决方案，用于预测和管理移动用户的这些连接。我们的解决方案采用Soft Actor-Critic算法，利用连续动作空间表示，训练深度神经网络作为HO策略。我们提出了一种新的奖励函数，该函数集成了HO惩罚，以平衡可达速率和与HO相关的开销。我们开发了两种系统变体；第一种使用基于用户移动模式的移动方向辅助(DA)观测，而第二种使用基于大规模衰落(LSF)历史的历史辅助(HA)观测。仿真结果表明，我们基于DRL的连续动作空间方法比离散空间方法更具可扩展性，并且我们导出的HO策略自动学习在特定时隙收集HO，以最小化启动HO的开销。我们的解决方案还可以实时运行，响应时间小于0.4毫秒。

🔬 方法详解

问题定义：在用户中心Cell-Free Massive MIMO网络中，如何根据用户移动性动态调整服务接入点集合，同时最小化频繁切换操作带来的资源开销？现有方法通常采用固定阈值或简单规则进行切换决策，无法有效平衡数据传输速率和切换开销，导致网络性能下降。

核心思路：将切换决策问题建模为马尔可夫决策过程(MDP)，利用深度强化学习(DRL)训练智能体，学习最优的切换策略。通过奖励函数引导智能体在最大化数据传输速率的同时，尽量减少切换次数，从而实现速率和开销的平衡。采用连续动作空间，允许更精细的切换控制。

技术框架：该方案采用Soft Actor-Critic (SAC)算法作为DRL框架。SAC是一种off-policy的actor-critic算法，旨在最大化期望回报的同时，最大化策略的熵，从而鼓励探索。系统包括以下主要模块：环境（UC-mMIMO网络）、智能体（SAC算法）、状态空间（包括用户位置、信道状态等）、动作空间（连续的切换控制参数）、奖励函数（综合考虑速率和切换开销）。

关键创新：该论文的关键创新在于：1) 将切换问题建模为连续动作空间的DRL问题，允许更灵活的切换控制；2) 提出了一种新的奖励函数，该函数集成了切换惩罚项，从而显式地平衡了速率和开销；3) 提出了两种辅助观测方法：移动方向辅助(DA)和历史辅助(HA)，以提高智能体的学习效率。与现有方法相比，该方案能够自动学习最优的切换策略，无需人工设计复杂的切换规则。

关键设计：奖励函数的设计是关键。奖励函数包括两部分：数据传输速率和切换惩罚。数据传输速率反映了切换带来的性能提升，切换惩罚反映了切换带来的开销。通过调整切换惩罚的权重，可以控制切换的频率。网络结构采用深度神经网络，包括actor网络和critic网络。actor网络用于生成动作，critic网络用于评估动作的价值。采用Adam优化器进行训练。状态空间包括用户位置、信道状态信息、服务接入点信息等。动作空间为连续值，表示切换的强度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，基于DRL的连续动作空间切换方案比离散空间方法更具可扩展性，能够自动学习在特定时隙进行切换，从而最小化切换开销。该方案的响应时间小于0.4毫秒，满足实时性要求。此外，移动方向辅助(DA)和历史辅助(HA)观测方法可以进一步提高智能体的学习效率和性能。

🎯 应用场景

该研究成果可应用于未来的5G/6G移动通信网络，尤其是在高密度、高移动性场景下，例如城市热点区域、高速铁路等。通过智能化的切换管理，可以有效提升用户体验，降低网络运营成本，并为实现更高效、更可靠的无线通信提供技术支撑。

📄 摘要（原文）

In the user-centric cell-free massive MIMO (UC-mMIMO) network scheme, user mobility necessitates updating the set of serving access points to maintain the user-centric clustering. Such updates are typically performed through handoff (HO) operations; however, frequent HOs lead to overheads associated with the allocation and release of resources. This paper presents a deep reinforcement learning (DRL)-based solution to predict and manage these connections for mobile users. Our solution employs the Soft Actor-Critic algorithm, with continuous action space representation, to train a deep neural network to serve as the HO policy. We present a novel proposition for a reward function that integrates a HO penalty in order to balance the attainable rate and the associated overhead related to HOs. We develop two variants of our system; the first one uses mobility direction-assisted (DA) observations that are based on the user movement pattern, while the second one uses history-assisted (HA) observations that are based on the history of the large-scale fading (LSF). Simulation results show that our DRL-based continuous action space approach is more scalable than discrete space counterpart, and that our derived HO policy automatically learns to gather HOs in specific time slots to minimize the overhead of initiating HOs. Our solution can also operate in real time with a response time less than 0.4 ms.