DRL-Based Federated Self-Supervised Learning for Task Offloading and Resource Allocation in ISAC-Enabled Vehicle Edge Computing

📄 arXiv: 2408.14831v2 📥 PDF

作者: Xueying Gu, Qiong Wu, Pingyi Fan, Nan Cheng, Wen Chen, Khaled B. Letaief

分类: cs.LG, cs.DC, cs.NI

发布日期: 2024-08-27 (更新: 2025-06-19)

备注: This paper has been accepted by Digital Communications and Networks. The source code has been released at: https://github.com/qiongwu86/Federated-SSL-task-offloading-and-resource-allocation

💡 一句话要点

提出基于DRL的联邦自监督学习任务卸载与资源分配算法，优化ISAC车辆边缘计算。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车辆边缘计算 联邦自监督学习 深度强化学习 任务卸载 资源分配

📋 核心要点

  1. 现有联邦自监督学习算法在车辆边缘计算中，车辆资源受限导致迭代任务难以完成。
  2. 提出基于深度强化学习的任务卸载策略，动态调整车辆与路侧单元的任务分配比例，平衡能耗与训练效率。
  3. 仿真结果表明，该算法有效降低了能耗，提高了任务卸载效率和联邦自监督学习的准确性。

📝 摘要（中文）

智能交通系统(ITS)利用集成感知与通信(ISAC)来增强车辆与基础设施之间的数据交换。这种集成不可避免地增加了计算需求，从而可能危及实时系统稳定性。车辆边缘计算(VEC)通过将任务卸载到路侧单元(RSU)来解决这个问题，确保及时服务。先前的工作FLSimCo算法使用本地资源进行联邦自监督学习(SSL)，但车辆通常无法完成所有迭代任务。改进后的算法将部分任务卸载到RSU，并通过调整发射功率、CPU频率和任务分配比例来优化能耗，从而平衡本地和基于RSU的训练。同时，设置卸载阈值进一步防止效率低下。仿真结果表明，增强的算法降低了能耗，提高了卸载效率和联邦SSL的准确性。

🔬 方法详解

问题定义：论文旨在解决在ISAC使能的车辆边缘计算环境中，如何有效地利用车辆和路侧单元(RSU)的计算资源，在满足实时性要求的同时，降低能耗并提高联邦自监督学习(SSL)的准确性。现有方法，如FLSimCo，主要依赖车辆本地资源进行联邦学习，但车辆计算能力有限，难以完成所有迭代，导致性能瓶颈。

核心思路：论文的核心思路是将部分联邦学习任务卸载到RSU，并利用深度强化学习(DRL)动态优化任务卸载比例、车辆传输功率和CPU频率，从而在车辆本地计算和RSU计算之间取得平衡。通过设置卸载阈值，避免不必要的卸载，进一步提高效率。

技术框架：整体框架包含车辆节点、路侧单元(RSU)和云服务器。车辆节点负责数据采集和本地训练，RSU提供额外的计算资源，云服务器负责联邦学习的全局模型聚合。DRL智能体部署在RSU上，根据车辆状态（如计算能力、能量水平）和网络状态，动态决策任务卸载比例、传输功率和CPU频率。

关键创新：论文的关键创新在于将DRL与联邦自监督学习相结合，实现智能的任务卸载和资源分配。不同于传统的静态卸载策略，该方法能够根据环境变化动态调整卸载决策，从而更好地适应车辆边缘计算环境的复杂性和不确定性。此外，利用自监督学习减少了对大量标注数据的依赖。

关键设计：DRL智能体使用Actor-Critic架构，Actor网络负责生成任务卸载比例、传输功率和CPU频率的动作，Critic网络负责评估当前状态-动作对的价值。奖励函数的设计至关重要，需要综合考虑能耗、任务完成时间和联邦学习的准确性。论文中可能使用了特定的自监督学习损失函数，例如对比学习损失或生成对抗网络(GAN)相关的损失函数，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

仿真结果表明，所提出的基于DRL的联邦自监督学习任务卸载算法，相较于传统的本地联邦学习算法，显著降低了车辆的能耗，提高了任务卸载效率，并提升了联邦自监督学习模型的准确性。具体的性能提升幅度和对比基线需要在论文中进一步查找。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、车联网等领域。通过优化车辆边缘计算资源分配，可以提升交通效率、降低能耗，并为车辆提供更可靠、实时的服务，例如增强现实导航、协同感知和安全预警等。未来，该方法可以扩展到更复杂的异构计算环境，例如融合无人机和云服务器的边缘计算架构。

📄 摘要（原文）

Intelligent Transportation Systems (ITS) leverage Integrated Sensing and Communications (ISAC) to enhance data exchange between vehicles and infrastructure in the Internet of Vehicles (IoV). This integration inevitably increases computing demands, risking real-time system stability. Vehicle Edge Computing (VEC) addresses this by offloading tasks to Road Side Unit (RSU), ensuring timely services. Our previous work FLSimCo algorithm, which uses local resources for Federated Self-Supervised Learning (SSL), though vehicles often can't complete all iterations task. Our improved algorithm offloads partial task to RSU and optimizes energy consumption by adjusting transmission power, CPU frequency, and task assignment ratios, balancing local and RSU-based training. Meanwhile, setting an offloading threshold further prevents inefficiencies. Simulation results show that the enhanced algorithm reduces energy consumption, improves offloading efficiency and the accuracy of Federated SSL.