DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV

📄 arXiv: 2408.09194v2 📥 PDF

作者: Xueying Gu, Qiong Wu, Pingyi Fan, Qiang Fan, Nan Cheng, Wen Chen, Khaled B. Letaief

分类: cs.CV, cs.LG, cs.NI

发布日期: 2024-08-17 (更新: 2025-06-18)

备注: This paper has been accepted by IEEE Internet of Things Journal. The source code has been released at: https://github.com/qiongwu86/DRL-BFSSL

💡 一句话要点

提出基于DRL的资源分配方案，用于IoV中抗运动模糊的联邦自监督学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 自监督学习 车联网 运动模糊 深度强化学习 资源分配 隐私保护

📋 核心要点

  1. 现有联邦自监督学习方法在车联网场景中存在隐私泄露风险，且未充分考虑运动模糊对模型聚合的影响。
  2. 提出一种抗运动模糊的联邦自监督学习方法(BFSSL)，并设计基于深度强化学习(DRL)的资源分配方案(DRL-BFSSL)。
  3. 仿真结果表明，所提出的聚合和资源分配方法能够有效降低能量消耗和延迟，并提升模型性能。

📝 摘要（中文）

在车联网(IoV)中，联邦学习(FL)通过聚合本地模型而无需共享数据，提供了一种保护隐私的解决方案。传统的监督学习需要带标签的图像数据，但数据标注涉及大量的人工工作。联邦自监督学习(FSSL)利用自监督学习(SSL)进行FL中的本地训练，消除了对标签的需求，同时保护了隐私。与其他SSL方法相比，动量对比(MoCo)通过创建字典减少了对计算资源和存储空间的需求。然而，在FSSL中使用MoCo需要将车辆的本地字典上传到基站(BS)，这带来了隐私泄露的风险。简化对比(SimCo)通过使用双温度而不是字典来控制样本分布，解决了基于MoCo的FSSL中的隐私泄露问题。此外，考虑到运动模糊对模型聚合的负面影响，并且基于SimCo，我们提出了一种抗运动模糊的FSSL方法，称为BFSSL。此外，我们通过提出一种基于深度强化学习(DRL)的资源分配方案，称为DRL-BFSSL，来解决BFSSL过程中的能量消耗和延迟问题。在该方案中，BS分配车辆的中央处理器(CPU)频率和传输功率，以最小化能量消耗和延迟，同时基于运动模糊水平聚合接收到的模型。仿真结果验证了我们提出的聚合和资源分配方法的有效性。

🔬 方法详解

问题定义：论文旨在解决车联网(IoV)中联邦自监督学习(FSSL)面临的两个主要问题：一是基于动量对比(MoCo)的方法存在隐私泄露风险，因为需要上传本地字典；二是车辆运动产生的运动模糊会对模型聚合产生负面影响，降低模型性能。现有方法未能同时解决这两个问题，并且忽略了资源分配对能耗和延迟的影响。

核心思路：论文的核心思路是首先采用简化对比(SimCo)方法，通过双温度机制替代字典，避免隐私泄露。然后，针对运动模糊问题，提出一种抗运动模糊的FSSL方法(BFSSL)，并在模型聚合时考虑运动模糊程度。最后，利用深度强化学习(DRL)优化资源分配，降低能耗和延迟。

技术框架：整体框架包括以下几个主要阶段：1) 本地训练阶段：车辆使用SimCo或BFSSL进行本地自监督学习，生成本地模型。2) 模型上传阶段：车辆将本地模型上传到基站(BS)。3) 模型聚合阶段：BS根据车辆的运动模糊程度对接收到的模型进行聚合。4) 资源分配阶段：BS使用DRL算法动态分配车辆的CPU频率和传输功率。

关键创新：论文的关键创新点在于：1) 提出了一种抗运动模糊的联邦自监督学习方法(BFSSL)，能够有效减轻运动模糊对模型性能的影响。2) 设计了一种基于深度强化学习(DRL)的资源分配方案(DRL-BFSSL)，能够同时优化能量消耗和延迟。3) 将SimCo方法应用于FSSL，避免了MoCo方法中的隐私泄露问题。

关键设计：在BFSSL中，可能使用了特定的损失函数或数据增强策略来增强模型对运动模糊的鲁棒性。DRL-BFSSL方案中，状态空间可能包括车辆的运动模糊程度、剩余能量、信道状态等信息；动作空间可能包括CPU频率和传输功率的离散或连续取值；奖励函数可能综合考虑能量消耗、延迟和模型聚合性能。具体的网络结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过仿真实验验证了所提出的BFSSL和DRL-BFSSL方法的有效性。具体的性能数据未知，但摘要中提到仿真结果验证了聚合和资源分配方法的有效性，表明该方法在抗运动模糊和资源优化方面具有一定的优势。与传统方法相比，该方法能够在保证隐私的前提下，提升模型在运动模糊环境下的性能，并降低能量消耗和延迟。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶等领域。通过联邦自监督学习，可以在保护车辆数据隐私的前提下，利用大量无标签数据训练高性能的视觉模型，提升车辆对复杂交通场景的感知能力。同时，DRL资源分配方案可以有效降低车辆的能耗和延迟，提高系统的整体效率。

📄 摘要（原文）

In the Internet of Vehicles (IoV), Federated Learning (FL) provides a privacy-preserving solution by aggregating local models without sharing data. Traditional supervised learning requires image data with labels, but data labeling involves significant manual effort. Federated Self-Supervised Learning (FSSL) utilizes Self-Supervised Learning (SSL) for local training in FL, eliminating the need for labels while protecting privacy. Compared to other SSL methods, Momentum Contrast (MoCo) reduces the demand for computing resources and storage space by creating a dictionary. However, using MoCo in FSSL requires uploading the local dictionary from vehicles to Base Station (BS), which poses a risk of privacy leakage. Simplified Contrast (SimCo) addresses the privacy leakage issue in MoCo-based FSSL by using dual temperature instead of a dictionary to control sample distribution. Additionally, considering the negative impact of motion blur on model aggregation, and based on SimCo, we propose a motion blur-resistant FSSL method, referred to as BFSSL. Furthermore, we address energy consumption and delay in the BFSSL process by proposing a Deep Reinforcement Learning (DRL)-based resource allocation scheme, called DRL-BFSSL. In this scheme, BS allocates the Central Processing Unit (CPU) frequency and transmission power of vehicles to minimize energy consumption and latency, while aggregating received models based on the motion blur level. Simulation results validate the effectiveness of our proposed aggregation and resource allocation methods.