Joint Optimization of Age of Information and Energy Consumption in NR-V2X System based on Deep Reinforcement Learning

📄 arXiv: 2407.08458v2 📥 PDF

作者: Shulin Song, Zheng Zhang, Qiong Wu, Qiang Fan, Pingyi Fan

分类: cs.LG, cs.NI, eess.SP

发布日期: 2024-07-11 (更新: 2025-06-19)

备注: This paper has been accepted by sensors. The source code has been released at: https://github.com/qiongwu86/Joint-Optimization-of-AoI-and-Energy-Consumption-in-NR-V2X-System-based-on-DRL

💡 一句话要点

提出基于深度强化学习的NR-V2X系统AoI与能耗联合优化方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: NR-V2X 深度强化学习 信息年龄 能量消耗 联合优化 资源分配 自动驾驶

📋 核心要点

  1. NR-V2X Mode 2中资源冲突导致信息年龄（AoI）降低，同时降低AoI需要更高频率的传输，导致能量消耗增加。
  2. 提出一种基于深度强化学习（DRL）的联合优化方法，通过优化资源预留间隔（RRI）和发射功率，同时降低AoI和能量消耗。
  3. 通过仿真实验验证了所提出算法的性能，表明该方法能够有效降低车辆的能量消耗和接收车辆的AoI。

📝 摘要（中文）

下一代无线通信最重要的应用场景之一是自动驾驶，因此，实现可靠、低延迟的车载通信至关重要。3GPP为此开发了基于5G新空口（NR）技术的车联网（V2X）规范，其中Mode 2侧行链路（SL）通信类似于LTE-V2X中的Mode 4，允许车辆之间的直接通信。这补充了LTE-V2X中的SL通信，代表了蜂窝V2X（C-V2X）的最新进展，并提高了NR-V2X的性能。然而，在NR-V2X Mode 2中，仍然存在资源冲突，从而降低了信息年龄（AoI）。因此，采用干扰消除方法，通过将NR-V2X与非正交多址接入（NOMA）技术相结合来减轻这种影响。在NR-V2X中，当车辆选择较小的资源预留间隔（RRI）时，更高频率的传输会消耗更多能量以降低AoI。因此，联合考虑基于NR-V2X通信的AoI和通信能耗非常重要。然后，我们制定了这样一个优化问题，并采用深度强化学习（DRL）算法来计算每个发射车辆的最佳传输RRI和发射功率，以降低每个发射车辆的能耗和每个接收车辆的AoI。大量的仿真实验证明了我们提出的算法的性能。

🔬 方法详解

问题定义：论文旨在解决NR-V2X系统中信息年龄（AoI）和能量消耗的联合优化问题。现有方法通常只关注其中一个指标，或者采用传统优化算法，难以适应复杂的V2X环境。此外，车辆选择较小的资源预留间隔（RRI）虽然可以降低AoI，但会增加能量消耗，因此需要权衡二者。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，通过智能体与环境的交互学习，找到最优的资源预留间隔（RRI）和发射功率策略，从而在降低AoI的同时，最小化能量消耗。这种方法能够自适应地调整策略，以应对动态变化的V2X环境。

技术框架：整体框架包括以下几个主要模块：1）V2X通信环境建模，包括车辆位置、信道状态等；2）DRL智能体设计，包括状态空间、动作空间和奖励函数定义；3）DRL算法训练，使用深度神经网络逼近最优策略；4）性能评估，通过仿真实验验证算法的有效性。

关键创新：论文的关键创新在于将深度强化学习应用于NR-V2X系统的AoI和能量消耗联合优化问题。与传统的优化方法相比，DRL能够更好地处理复杂的V2X环境，并自适应地调整策略。此外，论文还考虑了非正交多址接入（NOMA）技术，以提高资源利用率和降低干扰。

关键设计：状态空间包括车辆的AoI、剩余能量、信道状态等信息。动作空间包括资源预留间隔（RRI）和发射功率的离散化取值。奖励函数的设计至关重要，需要平衡AoI和能量消耗之间的关系。一种可能的设计是：奖励 = -α * AoI - β * 能量消耗，其中α和β是权重系数。网络结构可以选择深度Q网络（DQN）或Actor-Critic网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过仿真实验验证了所提出算法的性能。实验结果表明，与传统方法相比，该算法能够显著降低车辆的能量消耗和接收车辆的AoI。具体的性能数据（例如，能量消耗降低百分比，AoI降低百分比）需要在论文中查找。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、车联网等领域。通过优化NR-V2X系统的资源分配和功率控制，可以降低车辆通信的延迟和能耗，提高交通效率和安全性，并为未来的智能出行提供技术支撑。

📄 摘要（原文）

Autonomous driving may be the most important application scenario of next generation, the development of wireless access technologies enabling reliable and low-latency vehicle communication becomes crucial. To address this, 3GPP has developed Vehicle-to-Everything (V2X) specifications based on 5G New Radio (NR) technology, where Mode 2 Side-Link (SL) communication resembles Mode 4 in LTE-V2X, allowing direct communication between vehicles. This supplements SL communication in LTE-V2X and represents the latest advancement in cellular V2X (C-V2X) with improved performance of NR-V2X. However, in NR-V2X Mode 2, resource collisions still occur, and thus degrade the age of information (AOI). Therefore, a interference cancellation method is employed to mitigate this impact by combining NR-V2X with Non-Orthogonal multiple access (NOMA) technology. In NR-V2X, when vehicles select smaller resource reservation interval (RRI), higher-frequency transmissions take ore energy to reduce AoI. Hence, it is important to jointly consider AoI and communication energy consumption based on NR-V2X communication. Then, we formulate such an optimization problem and employ the Deep Reinforcement Learning (DRL) algorithm to compute the optimal transmission RRI and transmission power for each transmitting vehicle to reduce the energy consumption of each transmitting vehicle and the AoI of each receiving vehicle. Extensive simulations have demonstrated the performance of our proposed algorithm.