DRL-Based Optimization for AoI and Energy Consumption in C-V2X Enabled IoV

📄 arXiv: 2411.13104v2 📥 PDF

作者: Zheng Zhang, Qiong Wu, Pingyi Fan, Nan Cheng, Wen Chen, Khaled B. Letaief

分类: cs.LG, cs.NI

发布日期: 2024-11-20 (更新: 2025-06-18)

备注: This paper has been accepted by IEEE Transactions on Green Communications and Networking. The source code has been released at: https://github.com/qiongwu86/DRL-Based-Optimization-for-Information-of-Age-and-Energy-Consumption-in-C-V2X-Enabled-IoV

💡 一句话要点

提出基于DRL的C-V2X车联网AoI与能耗优化方法，解决资源冲突和性能矛盾问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: C-V2X 车联网 深度强化学习 信息年龄 非正交多址接入

📋 核心要点

  1. 现有C-V2X系统基于SPS协议进行资源分配，易产生资源冲突，影响通信效率，传统评估指标如可靠性和延迟存在矛盾。
  2. 论文提出基于DRL的优化方法，利用DRL在动态环境中学习最优策略的能力，权衡能量消耗和AoI，提升系统性能。
  3. 通过仿真实验，验证了所提方法在降低能量消耗和减小AoI方面的有效性，证明了其优于现有基线方法的性能。

📝 摘要（中文）

本文针对C-V2X车联网中通信延迟问题，研究了基于第三代合作伙伴计划(3GPP)定义的车联网(C-V2X)技术，特别是车辆到车辆(V2V)直接通信。该方法依赖于半持久调度(SPS)协议进行资源自主选择，易导致资源冲突。论文考虑采用非正交多址接入(NOMA)以提高信号干扰噪声比(SINR)并降低冲突影响。针对传统评估指标的矛盾性，引入信息年龄(AoI)作为综合评估指标。同时，考虑用户终端计算能力与能耗的权衡。鉴于通信系统的复杂性和动态性，提出一种基于深度强化学习(DRL)的能量消耗和AoI优化方法，分析多优先级队列和NOMA对AoI的影响。仿真结果表明，该方法在能量消耗和AoI方面优于基线方法。

🔬 方法详解

问题定义：论文旨在解决C-V2X车联网中，由于车辆自主选择通信资源导致的资源冲突问题，以及传统评估指标（如可靠性和传输延迟）之间的矛盾。此外，还需要在保证服务质量的前提下，降低用户终端的能量消耗，实现通信能效和信息新鲜度的平衡。现有方法难以在动态变化的通信环境中实现全局优化。

核心思路：论文的核心思路是利用深度强化学习（DRL）的智能学习能力，在动态环境中学习最优的资源分配策略，从而在降低能量消耗的同时，最小化信息年龄（AoI）。通过将系统状态、动作和奖励函数进行合理设计，使DRL智能体能够学习到最优的决策策略。

技术框架：整体框架包括以下几个主要模块：1) C-V2X通信环境建模，包括车辆分布、信道状态、资源分配等；2) 基于NOMA的多优先级队列设计，用于提高资源利用率和区分不同优先级的数据；3) DRL智能体设计，包括状态空间、动作空间和奖励函数的设计；4) DRL训练过程，通过与环境的交互，不断优化策略；5) 性能评估，通过仿真实验，评估所提方法的性能。

关键创新：最重要的技术创新点在于将DRL应用于C-V2X车联网的资源分配和能耗优化问题，并结合NOMA技术和多优先级队列，实现了对AoI和能量消耗的联合优化。与现有方法相比，该方法能够更好地适应动态变化的通信环境，并实现全局优化。

关键设计：状态空间包括车辆的位置、速度、信道状态、队列长度等信息；动作空间包括资源分配方案和功率控制策略；奖励函数的设计需要综合考虑AoI和能量消耗，例如，可以使用AoI的负值和能量消耗的负值作为奖励，并通过权重系数来调整两者之间的重要性。DRL网络结构可以选择深度Q网络（DQN）或Actor-Critic网络等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的基于DRL的优化方法在能量消耗和AoI方面均优于基线方法。具体而言，与传统的SPS方法相比，该方法能够显著降低系统的平均AoI，并降低车辆的能量消耗。具体的性能提升幅度在不同场景下有所不同，但整体上能够实现显著的性能提升。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、车队管理等领域。通过优化车辆间的通信资源分配和能量消耗，可以提高交通效率、降低交通事故率、延长车辆续航里程，并为未来的智慧城市建设提供技术支撑。该方法还可扩展到其他无线通信场景，例如物联网和工业互联网。

📄 摘要（原文）

To address communication latency issues, the Third Generation Partnership Project (3GPP) has defined Cellular-Vehicle to Everything (C-V2X) technology, which includes Vehicle-to-Vehicle (V2V) communication for direct vehicle-to-vehicle communication. However, this method requires vehicles to autonomously select communication resources based on the Semi-Persistent Scheduling (SPS) protocol, which may lead to collisions due to different vehicles sharing the same communication resources, thereby affecting communication effectiveness. Non-Orthogonal Multiple Access (NOMA) is considered a potential solution for handling large-scale vehicle communication, as it can enhance the Signal-to-Interference-plus-Noise Ratio (SINR) by employing Successive Interference Cancellation (SIC), thereby reducing the negative impact of communication collisions. When evaluating vehicle communication performance, traditional metrics such as reliability and transmission delay present certain contradictions. Introducing the new metric Age of Information (AoI) provides a more comprehensive evaluation of communication system. Additionally, to ensure service quality, user terminals need to possess high computational capabilities, which may lead to increased energy consumption, necessitating a trade-off between communication energy consumption and effectiveness. Given the complexity and dynamics of communication systems, Deep Reinforcement Learning (DRL) serves as an intelligent learning method capable of learning optimal strategies in dynamic environments. Therefore, this paper analyzes the effects of multi-priority queues and NOMA on AoI in the C-V2X vehicular communication system and proposes an energy consumption and AoI optimization method based on DRL. Finally, through comparative simulations with baseline methods, the proposed approach demonstrates its advances in terms of energy consumption and AoI.