Latency-Aware Resource Allocation for Mobile Edge Generation and Computing via Deep Reinforcement Learning

📄 arXiv: 2408.02047v2 📥 PDF

作者: Yinyu Wu, Xuhui Zhang, Jinke Ren, Huijun Xing, Yanyan Shen, Shuguang Cui

分类: eess.SY, cs.AI

发布日期: 2024-08-04 (更新: 2024-10-19)

备注: 5 pages, 6 figures. This paper has been accepted for publication by IEEE Networking Letters

💡 一句话要点

提出基于深度强化学习的延迟感知资源分配算法，优化移动边缘生成计算系统。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动边缘计算 生成式AI 资源分配 深度强化学习 延迟优化

📋 核心要点

  1. 移动边缘计算与生成式AI的结合催生了MEGC，但如何有效分配通信、计算和AIGC资源以优化用户体验是一大挑战。
  2. 论文提出一种基于深度强化学习的资源分配算法，旨在解决MEGC系统中优化变量强耦合导致的延迟最小化问题。
  3. 实验结果表明，该算法在降低延迟方面优于其他基线算法，验证了其在MEGC资源管理方面的有效性。

📝 摘要（中文）

本文研究了移动边缘生成计算（MEGC）系统中联合通信、计算和AIGC资源分配问题。MEGC融合了移动边缘计算（MEC）和生成式人工智能（GAI）技术，为移动用户提供任务计算和内容生成等异构服务。为了提升移动用户的服务质量，本文首先构建了一个延迟最小化问题。由于优化变量之间存在强耦合关系，我们提出了一种新的基于深度强化学习的算法来高效地解决该问题。数值结果表明，所提出的算法比两种基线算法能够实现更低的延迟。

🔬 方法详解

问题定义：论文旨在解决移动边缘生成计算（MEGC）系统中，如何联合优化通信、计算和AIGC资源分配，以最小化用户延迟的问题。现有方法通常难以处理优化变量之间的强耦合关系，导致资源分配效率低下，用户体验不佳。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，通过智能体与MEGC环境的交互学习，自适应地调整资源分配策略。DRL能够有效处理复杂、动态的系统状态，并学习到最优的资源分配方案，从而降低用户延迟。

技术框架：该算法的技术框架主要包括以下几个模块：1) 环境建模：对MEGC系统进行建模，包括用户设备、边缘服务器、通信链路和AIGC任务等。2) 状态空间定义：定义智能体所能观察到的系统状态，例如用户任务请求、服务器负载、信道质量等。3) 动作空间定义：定义智能体可以执行的动作，例如分配计算资源、调整传输功率、选择AIGC模型等。4) 奖励函数设计：设计奖励函数，用于指导智能体学习，例如以用户延迟的负值作为奖励。5) DRL算法选择：选择合适的DRL算法，例如DQN、DDPG等，用于训练智能体。

关键创新：论文的关键创新在于将深度强化学习应用于MEGC系统的资源分配问题，并设计了合适的奖励函数，使得智能体能够学习到延迟感知的资源分配策略。与传统的优化方法相比，DRL算法能够更好地处理优化变量之间的强耦合关系，并适应动态变化的网络环境。

关键设计：论文中，状态空间需要包含充分反映系统状态的信息，例如用户任务到达率、任务大小、信道状态信息等。动作空间需要覆盖所有可调控的资源，例如计算资源分配比例、传输功率大小、AIGC模型选择等。奖励函数的设计至关重要，需要能够准确反映用户体验，例如可以采用用户延迟的负值作为奖励，并加入一些惩罚项，例如资源浪费惩罚等。具体的DRL算法选择需要根据问题的特点进行选择，例如对于离散动作空间可以选择DQN，对于连续动作空间可以选择DDPG。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的基于深度强化学习的资源分配算法能够显著降低MEGC系统的用户延迟。与两种基线算法相比，该算法能够实现更低的平均延迟，并且能够更好地适应动态变化的网络环境。具体的性能提升幅度取决于具体的系统参数和网络环境，但总体而言，该算法能够提供显著的性能优势。

🎯 应用场景

该研究成果可应用于各种需要边缘计算和内容生成的场景，例如智能交通、增强现实、在线游戏等。通过优化资源分配，可以显著降低用户延迟，提升用户体验，并提高边缘服务器的资源利用率，具有重要的实际应用价值和商业前景。

📄 摘要（原文）

Recently, the integration of mobile edge computing (MEC) and generative artificial intelligence (GAI) technology has given rise to a new area called mobile edge generation and computing (MEGC), which offers mobile users heterogeneous services such as task computing and content generation. In this letter, we investigate the joint communication, computation, and the AIGC resource allocation problem in an MEGC system. A latency minimization problem is first formulated to enhance the quality of service for mobile users. Due to the strong coupling of the optimization variables, we propose a new deep reinforcement learning-based algorithm to solve it efficiently. Numerical results demonstrate that the proposed algorithm can achieve lower latency than two baseline algorithms.