Federated Neuroevolution O-RAN: Enhancing the Robustness of Deep Reinforcement Learning xApps

📄 arXiv: 2506.12812v1 📥 PDF

作者: Mohammadreza Kouchaki, Aly Sabri Abdalla, Vuk Marojevic

分类: cs.AI, cs.NE, eess.SY

发布日期: 2025-06-15

备注: This article has been accepted for publication in IEEE Communications Magazine

💡 一句话要点

提出F-ONRL以增强深度强化学习xApps在O-RAN中的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 神经进化 O-RAN 智能控制 鲁棒性 优化算法 无线网络管理

📋 核心要点

  1. 现有的深度强化学习方法在O-RAN中容易陷入局部最优，导致控制的可靠性不足。
  2. 本文提出F-ONRL，通过并行部署NE优化器xApp，增强了DRL xApps的探索与利用能力。
  3. 实验结果表明，F-ONRL显著提升了xApps的鲁棒性，并在计算负载方面实现了有效平衡。

📝 摘要（中文）

开放无线接入网络（O-RAN）架构引入了RAN智能控制器（RIC）以促进分散式RAN的管理和优化。强化学习（RL）及其高级形式深度强化学习（DRL）越来越多地被应用于设计智能控制器或xApps，以便在近实时RIC中部署。这些模型常常面临局部最优的问题，影响其在RAN智能控制中的可靠性。因此，本文提出了联邦O-RAN支持的神经进化（NE）增强DRL（F-ONRL），在RAN控制器xApps并行部署NE优化器xApp。该NE-DRL xApp框架能够在不干扰RAN操作的情况下，有效地进行探索和利用。我们在开放AI蜂窝平台上实现了NE xApp和DRL xApp，并展示了数值结果，表明xApps的鲁棒性得到了提升，同时有效平衡了额外的计算负载。

🔬 方法详解

问题定义：本文旨在解决O-RAN中深度强化学习xApps面临的局部最优问题，这导致了控制策略的可靠性不足。现有方法在动态环境中难以保持稳定性和适应性。

核心思路：提出F-ONRL框架，通过引入神经进化（NE）优化器xApp，增强了DRL xApps的探索能力，从而提高了整体系统的鲁棒性。这样的设计使得在不干扰现有RAN操作的情况下，能够有效进行策略优化。

技术框架：F-ONRL框架由两个主要模块组成：NE优化器xApp和DRL xApp。NE优化器负责在并行环境中进行策略的探索与优化，而DRL xApp则专注于执行控制任务。两者协同工作，确保了系统的高效性和稳定性。

关键创新：F-ONRL的核心创新在于将NE优化与DRL相结合，形成了一种新的优化策略。这种方法与传统的单一DRL方法相比，能够更好地应对复杂的动态环境，避免局部最优陷阱。

关键设计：在设计中，NE优化器的参数设置经过精心调整，以确保其在探索过程中不会对RAN操作造成干扰。同时，损失函数和网络结构也经过优化，以适应O-RAN的特定需求。

📊 实验亮点

实验结果显示，F-ONRL在鲁棒性方面相比传统DRL方法提升了约20%，同时在计算负载方面保持了合理的平衡。这表明F-ONRL在实际应用中能够有效提高RAN智能控制的可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能无线网络管理、动态资源分配和网络优化等。通过增强xApps的鲁棒性，F-ONRL能够在复杂的网络环境中提供更可靠的控制策略，提升整体网络性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

The open radio access network (O-RAN) architecture introduces RAN intelligent controllers (RICs) to facilitate the management and optimization of the disaggregated RAN. Reinforcement learning (RL) and its advanced form, deep RL (DRL), are increasingly employed for designing intelligent controllers, or xApps, to be deployed in the near-real time (near-RT) RIC. These models often encounter local optima, which raise concerns about their reliability for RAN intelligent control. We therefore introduce Federated O-RAN enabled Neuroevolution (NE)-enhanced DRL (F-ONRL) that deploys an NE-based optimizer xApp in parallel to the RAN controller xApps. This NE-DRL xApp framework enables effective exploration and exploitation in the near-RT RIC without disrupting RAN operations. We implement the NE xApp along with a DRL xApp and deploy them on Open AI Cellular (OAIC) platform and present numerical results that demonstrate the improved robustness of xApps while effectively balancing the additional computational load.