A Bayesian Framework of Deep Reinforcement Learning for Joint O-RAN/MEC Orchestration

📄 arXiv: 2312.16142v1 📥 PDF

作者: Fahri Wisnu Murti, Samad Ali, Matti Latva-aho

分类: cs.NI, cs.LG

发布日期: 2023-12-26

备注: This article is submitted to IEEE

💡 一句话要点

提出基于贝叶斯深度强化学习的O-RAN/MEC联合编排框架，优化网络运营成本和MEC性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: O-RAN 多接入边缘计算 深度强化学习 贝叶斯优化 资源编排

📋 核心要点

  1. 现有O-RAN/MEC联合编排方案难以应对复杂网络环境下的资源分配和动态需求变化，导致网络运营成本高，MEC性能受限。
  2. 提出一种基于贝叶斯深度强化学习的框架，通过联合优化O-RAN功能拆分、资源分配、服务部署和数据流路由，实现网络性能的提升。
  3. 实验结果表明，该方法具有更高的数据效率和更快的收敛速度，并且比非贝叶斯版本的回报提高了32%。

📝 摘要（中文）

本文提出了一种基于贝叶斯深度强化学习(RL)的O-RAN/MEC联合编排框架，该框架联合控制O-RAN功能拆分、分配的资源、O-RAN/MEC服务在地理分布式平台上的托管位置以及每个O-RAN/MEC数据流的路由。目标是在适应可能随时间变化的O-RAN/MEC需求和资源可用性的同时，最小化长期总体网络运营成本并最大化MEC性能标准。该编排问题被建模为马尔可夫决策过程(MDP)。然而，该系统由共享相同资源并服务于异构需求的多个基站组成，它们的参数具有非平凡的关系。因此，找到底层系统的精确模型是不切实际的，并且公式化的MDP导致具有多维离散动作的大状态空间。为了解决这种建模和维度问题，为我们的解决方案框架提出了一种新颖的无模型RL代理。该代理由双深度Q网络(DDQN)构建，以解决大型状态空间，然后结合动作分支，这是一种动作分解方法，可有效解决具有线性增加复杂度的多维离散动作。此外，提出了一种在贝叶斯框架下使用Thomson采样的有效探索-利用策略，以提高学习性能并加快其收敛速度。使用符合O-RAN模型的trace-driven仿真结果表明，我们的方法具有数据效率（即，收敛速度更快），并且比其非贝叶斯版本增加了32％的回报。

🔬 方法详解

问题定义：论文旨在解决在O-RAN/MEC融合场景下，如何有效地进行资源编排和管理，以最小化网络运营成本并最大化MEC性能。现有方法难以处理大规模状态空间和多维离散动作，并且缺乏对环境不确定性的有效建模，导致性能不佳。

核心思路：论文的核心思路是利用贝叶斯深度强化学习，构建一个能够自适应学习和优化O-RAN/MEC资源分配策略的智能代理。通过贝叶斯框架，能够更好地处理环境的不确定性，提高探索效率，加速学习过程。

技术框架：整体框架包括以下几个主要模块：1) 环境建模：将O-RAN/MEC网络建模为马尔可夫决策过程(MDP)，定义状态空间、动作空间和奖励函数。2) 深度强化学习代理：使用Double Deep Q-network (DDQN) 作为基础，处理大型状态空间。3) 动作分支：采用动作分解方法，将多维离散动作分解为多个子动作，降低动作空间的复杂度。4) 贝叶斯探索：利用Thomson sampling进行探索-利用平衡，提高学习效率。

关键创新：论文的关键创新在于将贝叶斯框架与深度强化学习相结合，提出了一种新的探索-利用策略。传统的深度强化学习方法在探索过程中往往效率较低，容易陷入局部最优。而贝叶斯方法能够对环境的不确定性进行建模，从而指导智能体进行更有效的探索。此外，动作分支技术有效地降低了多维离散动作空间的复杂度。

关键设计：论文采用Double Deep Q-network (DDQN)来估计Q值，并通过经验回放机制来稳定训练过程。奖励函数的设计综合考虑了网络运营成本和MEC性能指标。Thomson sampling的参数设置影响探索-利用的平衡，需要根据具体场景进行调整。动作分支的具体分解方式也需要根据O-RAN/MEC的特性进行设计。

📊 实验亮点

实验结果表明，所提出的贝叶斯深度强化学习方法在O-RAN/MEC联合编排任务中表现出色。与非贝叶斯版本的DDQN相比，该方法具有更高的数据效率，能够更快地收敛到最优策略，并且最终的回报提高了32%。这表明贝叶斯框架能够有效地提高探索效率，加速学习过程。

🎯 应用场景

该研究成果可应用于未来的5G/6G移动通信网络，特别是在需要低延迟、高可靠性的边缘计算场景中。例如，智能制造、自动驾驶、增强现实等应用可以通过该方案实现更高效的资源利用和更优的用户体验。该方案还有助于降低网络运营成本，提高网络灵活性和可扩展性。

📄 摘要（原文）

Multi-access Edge Computing (MEC) can be implemented together with Open Radio Access Network (O-RAN) over commodity platforms to offer low-cost deployment and bring the services closer to end-users. In this paper, a joint O-RAN/MEC orchestration using a Bayesian deep reinforcement learning (RL)-based framework is proposed that jointly controls the O-RAN functional splits, the allocated resources and hosting locations of the O-RAN/MEC services across geo-distributed platforms, and the routing for each O-RAN/MEC data flow. The goal is to minimize the long-term overall network operation cost and maximize the MEC performance criterion while adapting possibly time-varying O-RAN/MEC demands and resource availability. This orchestration problem is formulated as Markov decision process (MDP). However, the system consists of multiple BSs that share the same resources and serve heterogeneous demands, where their parameters have non-trivial relations. Consequently, finding the exact model of the underlying system is impractical, and the formulated MDP renders in a large state space with multi-dimensional discrete action. To address such modeling and dimensionality issues, a novel model-free RL agent is proposed for our solution framework. The agent is built from Double Deep Q-network (DDQN) that tackles the large state space and is then incorporated with action branching, an action decomposition method that effectively addresses the multi-dimensional discrete action with linear increase complexity. Further, an efficient exploration-exploitation strategy under a Bayesian framework using Thomson sampling is proposed to improve the learning performance and expedite its convergence. Trace-driven simulations are performed using an O-RAN-compliant model. The results show that our approach is data-efficient (i.e., converges faster) and increases the returned reward by 32\% than its non-Bayesian version.