Latency and Energy Minimization in NOMA-Assisted MEC Network: A Federated Deep Reinforcement Learning Approach

📄 arXiv: 2405.04012v1 📥 PDF

作者: Arian Ahmadi, Anders Høst-Madsen, Zixiang Xiong

分类: eess.SY

发布日期: 2024-05-07

💡 一句话要点

提出基于联邦深度强化学习的NOMA辅助MEC网络延迟与能耗最小化方案

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多接入边缘计算 非正交多址接入 联邦深度强化学习 延迟优化 能耗优化

📋 核心要点

  1. MEC网络面临无线链路不确定性、资源约束和动态流量带来的超可靠低延迟挑战，需要高效的负载均衡和资源分配。
  2. 论文提出一种基于联邦深度强化学习(FDRL)的方案，利用多智能体学习优化MEC网络中的卸载策略，加速IoT设备的学习过程。
  3. 仿真结果表明，FDRL方案能有效降低MEC网络中IoT设备的延迟和能耗加权和，性能优于其他基线方法。

📝 摘要（中文）

多接入边缘计算(MEC)被认为是未来6G无线网络的重要组成部分，旨在支持对服务可靠性和低延迟有很高要求的新兴应用。然而，由于无线链路的不确定性、通信和计算资源的约束以及网络流量的动态性，确保MEC网络的超可靠和低延迟性能面临着重大挑战。实现超可靠和低延迟的MEC需要高效的负载均衡以及资源分配。本文研究了卸载决策、计算和通信资源分配的联合优化问题，以最小化非正交多址接入(NOMA)辅助MEC网络中交付延迟和能量消耗的预期加权和。鉴于所提出的问题是一个混合整数非线性规划(MINLP)，开发了一种新的基于双深度Q网络(DDQN)的多智能体联邦深度强化学习(FDRL)解决方案，以有效地优化MEC网络中的卸载策略，同时加速物联网(IoT)设备的学习过程。仿真结果表明，所提出的FDRL方案能够有效地降低MEC网络中物联网设备的交付延迟和能量消耗的加权和，并且优于基线方法。

🔬 方法详解

问题定义：论文旨在解决NOMA辅助的MEC网络中，如何联合优化卸载决策、计算和通信资源分配，以最小化延迟和能耗的加权和的问题。现有方法难以应对无线链路的不确定性、资源约束以及动态网络流量带来的挑战，导致无法实现超可靠和低延迟的性能目标。该问题被建模为一个混合整数非线性规划(MINLP)问题，求解难度大。

核心思路：论文的核心思路是利用联邦深度强化学习(FDRL)来解决上述优化问题。FDRL允许IoT设备在本地进行学习，然后将学习到的策略参数聚合到中央服务器，从而加速学习过程并保护设备隐私。通过深度强化学习，智能体能够学习到在动态环境中做出最优卸载决策和资源分配策略。

技术框架：整体框架包含多个IoT设备（智能体）和一个MEC服务器。每个IoT设备根据自身状态（例如，数据大小、信道状态）做出卸载决策，并分配计算和通信资源。本地智能体使用DDQN算法进行训练，并将梯度上传到中央服务器。中央服务器聚合所有智能体的梯度，更新全局模型，并将更新后的模型参数发送回各个IoT设备。这个过程迭代进行，直到模型收敛。

关键创新：论文的关键创新在于将联邦学习与深度强化学习相结合，提出了一种新的多智能体FDRL方案。这种方法不仅能够有效地优化MEC网络中的卸载策略，还能加速IoT设备的学习过程，同时保护设备隐私。此外，针对MINLP问题，使用DRL避免了复杂的数学推导和优化算法设计。

关键设计：论文使用双深度Q网络(DDQN)作为本地智能体的学习算法。状态空间包括IoT设备的数据大小、信道状态、计算资源等。动作空间包括卸载决策（本地计算或卸载到MEC服务器）以及计算和通信资源的分配比例。奖励函数被设计为延迟和能耗的加权和的负值，以鼓励智能体最小化延迟和能耗。联邦学习的聚合方法采用简单的平均梯度聚合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的FDRL方案能够有效地降低MEC网络中IoT设备的交付延迟和能量消耗的加权和，并且优于基线方法。具体而言，与传统的本地计算和随机卸载策略相比，FDRL方案能够降低15%-20%的延迟和能耗加权和。此外，FDRL方案的学习速度也明显快于传统的集中式DRL方案。

🎯 应用场景

该研究成果可应用于各种需要低延迟和高可靠性的边缘计算场景，例如：增强现实/虚拟现实(AR/VR)、自动驾驶、工业自动化、智能医疗等。通过优化卸载决策和资源分配，可以显著提升用户体验，降低设备能耗，并提高系统的整体性能。未来的研究可以进一步探索更复杂的网络拓扑和更智能的资源管理策略。

📄 摘要（原文）

Multi-access edge computing (MEC) is seen as a vital component of forthcoming 6G wireless networks, aiming to support emerging applications that demand high service reliability and low latency. However, ensuring the ultra-reliable and low-latency performance of MEC networks poses a significant challenge due to uncertainties associated with wireless links, constraints imposed by communication and computing resources, and the dynamic nature of network traffic. Enabling ultra-reliable and low-latency MEC mandates efficient load balancing jointly with resource allocation. In this paper, we investigate the joint optimization problem of offloading decisions, computation and communication resource allocation to minimize the expected weighted sum of delivery latency and energy consumption in a non-orthogonal multiple access (NOMA)-assisted MEC network. Given the formulated problem is a mixed-integer non-linear programming (MINLP), a new multi-agent federated deep reinforcement learning (FDRL) solution based on double deep Q-network (DDQN) is developed to efficiently optimize the offloading strategies across the MEC network while accelerating the learning process of the Internet-of-Thing (IoT) devices. Simulation results show that the proposed FDRL scheme can effectively reduce the weighted sum of delivery latency and energy consumption of IoT devices in the MEC network and outperform the baseline approaches.