Online Learning-based Adaptive Beam Switching for 6G Networks: Enhancing Efficiency and Resilience
作者: Seyed Bagher Hashemi Natanzi, Zhicong Zhu, Bo Tang
分类: cs.NI, cs.AI, cs.LG
发布日期: 2025-05-12 (更新: 2025-12-03)
💡 一句话要点
针对6G网络，提出基于在线学习的自适应波束切换方法，提升效率和稳定性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 6G网络 自适应波束切换 深度强化学习 在线学习 链路稳定性
📋 核心要点
- 现有机器学习方法在6G波束管理中，过度关注瞬时吞吐量，导致策略不稳定和信令开销过高。
- 论文提出在线深度强化学习框架，通过增强状态表示和稳定性奖励，优化长期链路质量。
- 实验结果表明，该方法在保持高吞吐量的同时，显著提升了链路稳定性，达到与多臂老虎机相当的可靠性。
📝 摘要（中文）
自适应波束切换对于任务关键型军用和商用6G网络至关重要，但面临高载波频率、用户移动性和频繁阻塞等重大挑战。现有的机器学习（ML）解决方案通常侧重于最大化瞬时吞吐量，这可能导致不稳定的策略和高信令开销。本文提出了一个在线深度强化学习（DRL）框架，旨在学习一种操作稳定的策略。通过为DRL智能体配备包含阻塞历史的增强状态表示和一个以稳定性为中心的奖励函数，使其能够优先考虑长期链路质量而非瞬时增益。在具有挑战性的100用户场景中使用Sionna库进行验证，我们的智能体实现了与反应式多臂老虎机（MAB）基线相当的吞吐量。具体而言，与原始DRL方法相比，我们提出的框架将链路稳定性提高了约43%，实现了与MAB竞争的操作可靠性，同时保持了高数据速率。这项工作表明，通过将优化目标重新定义为操作稳定性，DRL可以为下一代任务关键型网络提供高效、可靠和实时的波束管理解决方案。
🔬 方法详解
问题定义：论文旨在解决6G网络中自适应波束切换问题，现有方法如传统机器学习算法或简单的强化学习方法，往往只关注瞬时吞吐量最大化，忽略了链路的长期稳定性。这导致频繁的波束切换，增加了信令开销，降低了用户体验，并且在用户高移动性和频繁阻塞的环境下表现不佳。因此，需要一种能够平衡吞吐量和稳定性的波束管理策略。
核心思路：论文的核心思路是通过在线深度强化学习（DRL）学习一种操作稳定的波束切换策略。关键在于将链路稳定性纳入优化目标，使其能够优先考虑长期链路质量而非瞬时增益。通过增强DRL智能体的状态表示，使其能够感知阻塞历史，并设计一个以稳定性为中心的奖励函数，引导智能体学习更稳定的策略。
技术框架：该框架主要包含以下几个模块：1) 环境建模：使用Sionna库模拟6G网络环境，包括用户移动性、信道衰落和阻塞等因素。2) DRL智能体：采用深度神经网络作为策略网络，输入是增强的状态表示，输出是波束切换决策。3) 状态表示：包括当前信道状态信息（CSI）、用户位置信息以及阻塞历史信息。4) 奖励函数：综合考虑吞吐量和链路稳定性，对频繁的波束切换进行惩罚。5) 在线学习：智能体与环境交互，根据奖励信号不断更新策略网络。
关键创新：论文最重要的技术创新点在于将链路稳定性纳入DRL的优化目标中。传统的DRL方法通常只关注最大化累积奖励，而忽略了策略的稳定性。通过引入阻塞历史信息和稳定性奖励函数，论文成功地引导DRL智能体学习更稳定的波束切换策略，从而提高了网络的整体性能。
关键设计：状态表示中，阻塞历史信息采用滑动窗口的方式记录过去一段时间内的链路阻塞情况。奖励函数设计为吞吐量的加权和与稳定性惩罚项的加权和，权重系数需要根据具体场景进行调整。策略网络采用深度卷积神经网络，能够有效地提取状态表示中的特征。训练过程中，采用经验回放和目标网络等技术来提高学习的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与原始DRL方法相比，该方法在100用户场景下将链路稳定性提高了约43%，同时保持了与反应式多臂老虎机（MAB）基线相当的吞吐量。这表明该方法能够在保证数据传输速率的同时，显著提升网络的可靠性，为6G网络中的波束管理提供了一种有效的解决方案。
🎯 应用场景
该研究成果可应用于未来的6G移动通信网络，尤其是在需要高可靠性和低延迟的任务关键型场景，如自动驾驶、工业自动化、远程医疗等。通过提升波束管理的稳定性和效率，可以显著改善用户体验，降低运营成本，并为新型业务的开展提供有力支撑。该方法也可推广到其他无线通信系统中，例如卫星通信和毫米波通信。
📄 摘要（原文）
Adaptive beam switching is essential for mission-critical military and commercial 6G networks but faces major challenges from high carrier frequencies, user mobility, and frequent blockages. While existing machine learning (ML) solutions often focus on maximizing instantaneous throughput, this can lead to unstable policies with high signaling overhead. This paper presents an online Deep Reinforcement Learning (DRL) framework designed to learn an operationally stable policy. By equipping the DRL agent with an enhanced state representation that includes blockage history, and a stability-centric reward function, we enable it to prioritize long-term link quality over transient gains. Validated in a challenging 100-user scenario using the Sionna library, our agent achieves throughput comparable to a reactive Multi-Armed Bandit (MAB) baseline. Specifically, our proposed framework improves link stability by approximately 43% compared to a vanilla DRL approach, achieving operational reliability competitive with MAB while maintaining high data rates. This work demonstrates that by reframing the optimization goal towards operational stability, DRL can deliver efficient, reliable, and real-time beam management solutions for next-generation mission-critical networks.