ADORN: Adaptive Drift handling for Open RAN using Reinforcement Learning

📄 arXiv: 2607.08443v1 📥 PDF

作者: Ashit Kumar Subudhi, Bhargav Chirumamilla, Shubham Vaishnav, Mduduzi C. Hlophe, Praveen Kumar Donta, Andrea Fumagalli, Venkateswarlu Gudepu, Koteswararao Kondepu

分类: cs.NI, cs.AI

发布日期: 2026-07-09

💡 一句话要点

提出基于强化学习的自适应漂移处理方法以优化O-RAN性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 开放无线接入网络 强化学习 自适应再训练 长短期记忆 马尔可夫决策过程 流量管理 服务水平协议

📋 核心要点

  1. 现有方法在处理O-RAN中的动态流量变化时，面临高计算成本和SLA违反的挑战。
  2. 本文提出的Q学习自适应再训练方法，通过强化学习优化再训练决策，平衡准确性与成本。
  3. 实验结果显示，该方法在降低再训练开销的同时，系统性能保持在预设范围内，优于贪婪和随机基线。

📝 摘要（中文）

动态流量变化在开放无线接入网络（O-RAN）中导致漂移，进而影响人工智能/机器学习（AI/ML）模型的性能。传统的再训练方法虽然能够保持预测准确性，但计算成本高且可能导致服务水平协议（SLA）的违反。本文提出了一种基于Q学习的自适应再训练方法，将再训练决策建模为马尔可夫决策过程（MDP），通过强化学习（RL）代理学习平衡预测准确性与再训练成本的策略。该方法结合了多专家长短期记忆（LSTM）集成，以减轻灾难性遗忘并提高在多样化流量条件下的鲁棒性。实验结果表明，该方法有效降低了再训练开销，同时保持系统性能在预定义限制内。

🔬 方法详解

问题定义：本文旨在解决开放无线接入网络（O-RAN）中因动态流量变化导致的漂移问题。现有的再训练方法虽然能保持预测准确性，但通常伴随高昂的计算成本，并可能导致服务水平协议（SLA）的违反。

核心思路：论文提出了一种基于Q学习的自适应再训练方法，将再训练决策视为马尔可夫决策过程（MDP），通过强化学习代理学习策略，以实现预测准确性与再训练成本之间的平衡。

技术框架：整体架构包括数据输入模块、Q学习代理、LSTM集成模块和决策输出模块。数据输入模块负责接收流量数据，Q学习代理根据当前状态和策略进行决策，LSTM集成模块用于处理时间序列数据并提供预测，最后决策输出模块生成再训练指令。

关键创新：最重要的创新在于将再训练决策建模为MDP，并结合多专家LSTM集成，显著提高了在多样化流量条件下的鲁棒性，避免了传统方法中的灾难性遗忘。

关键设计：在设计中，采用了多专家LSTM集成以增强模型的泛化能力，损失函数设计为综合考虑预测准确性与再训练成本的加权和，Q学习中的状态空间和动作空间经过精心定义，以确保学习过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在降低再训练开销方面表现优异，相较于贪婪和随机基线，系统性能保持在预定义限制内，且再训练开销显著减少，展示了该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括开放无线接入网络（O-RAN）的流量管理和资源优化，尤其是在5G及未来网络中。通过自适应再训练方法，网络运营商能够在动态流量条件下保持系统性能，降低运营成本，提升用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dynamic traffic variations in Open Radio Access Networks (O-RAN) lead to drift, which degrades the performance of Artificial Intelligence/Machine Learning (AI/ML) models. Traditional retraining approaches maintain forecasting accuracy but incur high computational cost and may lead to violations of Service Level Agreements (SLAs). This work proposes a Q-learning-based adaptive retraining approach that formulates the retraining decision as a Markov Decision Process (MDP), where a Reinforcement Learning (RL) agent learns a policy that balances forecasting accuracy and retraining cost. The proposed approach incorporates a multi-expert Long Short-Term Memory (LSTM) ensemble to mitigate catastrophic forgetting and improve robustness across diverse traffic conditions. Experimental results show that the proposed approach effectively reduces retraining overhead compared to greedy and random baselines, while maintaining system performance within predefined limits.