Event-Triggered Reinforcement Learning Based Joint Resource Allocation for Ultra-Reliable Low-Latency V2X Communications

📄 arXiv: 2407.13947v1 📥 PDF

作者: Nasir Khan, Sinem Coleri

分类: cs.LG

发布日期: 2024-07-18

💡 一句话要点

提出基于事件触发强化学习的联合资源分配方案，用于超可靠低延迟V2X通信。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: V2X通信 超可靠低延迟通信 深度强化学习 资源分配 事件触发 有限块长 6G车联网

📋 核心要点

  1. 现有V2X通信资源分配方案难以保证动态环境下URLLC应用的严格可靠性和低延迟需求，面临高复杂度和通信开销的挑战。
  2. 提出一种基于事件触发深度强化学习的联合功率和块长度分配框架，通过事件触发机制减少DRL执行次数，降低计算复杂度。
  3. 仿真结果表明，该方案在保证95%性能的前提下，能够将DRL执行次数减少高达24%，有效提升了资源利用率。

📝 摘要（中文）

本文针对未来6G车联网中超可靠低延迟通信（URLLC）的需求，提出了一种基于深度强化学习（DRL）的联合功率和块长度分配框架，旨在最小化基于URLLC的下行V2X通信系统中有限块长（FBL）情况下的最坏情况解码错误概率。该问题被建模为一个非凸混合整数非线性规划问题（MINLP）。首先，基于优化理论，推导了解码错误概率在块长度和发射功率变量区域内的联合凸性，设计了一种优化算法。然后，提出了一种高效的基于事件触发DRL的算法来解决联合优化问题。将事件触发学习融入DRL框架，能够评估是否启动DRL过程，从而减少DRL过程的执行次数，同时保持合理的可靠性性能。仿真结果表明，所提出的事件触发DRL方案能够达到联合优化方案95%的性能，同时在不同的网络设置下，DRL执行次数减少高达24%。

🔬 方法详解

问题定义：论文旨在解决V2X通信中，如何在有限块长（FBL）条件下，为保证超可靠低延迟通信（URLLC）的需求，进行联合功率和块长度分配的问题。现有基于传统优化的资源分配方法，在高动态的车载环境中，由于计算复杂度高和通信开销大，难以满足URLLC的严格要求。

核心思路：论文的核心思路是利用深度强化学习（DRL）来学习最优的资源分配策略，同时引入事件触发机制来降低DRL的执行频率，从而降低计算复杂度。事件触发机制根据环境变化情况，决定是否需要重新执行DRL算法，避免了不必要的计算开销。

技术框架：整体框架包含两个主要部分：一是基于优化理论的初始算法，用于推导解码错误概率的联合凸性，并作为性能参考；二是事件触发DRL算法，用于在线学习资源分配策略。事件触发机制监测环境变化，当变化超过预设阈值时，触发DRL算法重新学习。DRL算法输出功率和块长度分配方案。

关键创新：关键创新在于将事件触发机制与DRL相结合。传统的DRL方法通常需要频繁执行，计算开销大。而事件触发机制能够根据环境变化情况，自适应地调整DRL的执行频率，从而在保证性能的同时，显著降低计算复杂度。

关键设计：论文将问题建模为非凸混合整数非线性规划问题（MINLP）。DRL算法采用Actor-Critic结构，Actor网络负责生成资源分配策略，Critic网络负责评估策略的价值。损失函数的设计目标是最小化最坏情况下的解码错误概率。事件触发机制基于环境状态的变化量，当变化量超过阈值时，触发DRL算法的执行。具体网络结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的事件触发DRL方案能够达到联合优化方案95%的性能，同时在不同的网络设置下，DRL执行次数减少高达24%。这意味着在保证通信性能的前提下，显著降低了计算复杂度，提高了资源利用率。

🎯 应用场景

该研究成果可应用于未来的6G车联网，为自动驾驶、车辆安全预警等URLLC应用提供可靠的通信保障。通过优化资源分配，降低延迟和提高可靠性，可以提升车辆行驶安全性和交通效率，并为智能交通系统的发展提供技术支撑。

📄 摘要（原文）

Future 6G-enabled vehicular networks face the challenge of ensuring ultra-reliable low-latency communication (URLLC) for delivering safety-critical information in a timely manner. Existing resource allocation schemes for vehicle-to-everything (V2X) communication systems primarily rely on traditional optimization-based algorithms. However, these methods often fail to guarantee the strict reliability and latency requirements of URLLC applications in dynamic vehicular environments due to the high complexity and communication overhead of the solution methodologies. This paper proposes a novel deep reinforcement learning (DRL) based framework for the joint power and block length allocation to minimize the worst-case decoding-error probability in the finite block length (FBL) regime for a URLLC-based downlink V2X communication system. The problem is formulated as a non-convex mixed-integer nonlinear programming problem (MINLP). Initially, an algorithm grounded in optimization theory is developed based on deriving the joint convexity of the decoding error probability in the block length and transmit power variables within the region of interest. Subsequently, an efficient event-triggered DRL-based algorithm is proposed to solve the joint optimization problem. Incorporating event-triggered learning into the DRL framework enables assessing whether to initiate the DRL process, thereby reducing the number of DRL process executions while maintaining reasonable reliability performance. Simulation results demonstrate that the proposed event-triggered DRL scheme can achieve 95% of the performance of the joint optimization scheme while reducing the DRL executions by up to 24% for different network settings.