Semi-Supervised Federated Learning via Dual Contrastive Learning and Soft Labeling for Intelligent Fault Diagnosis
作者: Yajiao Dai, Jun Li, Zhen Mei, Yiyang Ni, Shi Jin, Zengxiang Li, Sheng Guo, Wei Xiang
分类: cs.LG, cs.AI
发布日期: 2025-07-12
备注: Accepted to IEEE Internet of Things Journal, Early Access. 14 pages, 5 figures
期刊: IEEE Internet of Things Journal, Early Access, 2025
DOI: 10.1109/JIOT.2025.3586718
💡 一句话要点
提出SSFL-DCSL框架，通过双重对比学习和软标签解决智能故障诊断中半监督联邦学习问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 智能故障诊断 半监督学习 联邦学习 对比学习 软标签
📋 核心要点
- 传统智能故障诊断依赖大量标注数据，且数据分散在不同客户端，标注成本高昂，数据分布差异大，影响模型性能。
- 提出SSFL-DCSL框架，利用双重对比学习和软标签，在保护隐私的同时，实现客户端间知识共享，缓解数据和标签稀缺问题。
- 实验结果表明，在仅有10%数据被标注的情况下，SSFL-DCSL框架相比现有方法，准确率提升了1.15%到7.85%。
📝 摘要（中文）
智能故障诊断(IFD)在保障工业机械安全运行和提高生产效率方面起着至关重要的作用。然而，传统的监督深度学习方法需要大量的训练数据和标签，这些数据通常位于不同的客户端。此外，数据标注成本高昂，难以获取标签。同时，客户端之间的数据分布差异也可能阻碍模型的性能。为了解决这些挑战，本文提出了一种半监督联邦学习框架SSFL-DCSL，该框架集成了双重对比损失和软标签，以解决分布式客户端在少量标记样本下的数据和标签稀缺问题，同时保护用户隐私。它能够利用客户端上的未标记数据进行表征学习，并通过原型促进客户端之间的联合学习，从而实现知识共享并防止局部模型发散。具体来说，首先，设计了一种基于拉普拉斯分布的样本加权函数，以减轻半监督训练过程中伪标签低置信度造成的偏差。其次，引入双重对比损失来缓解由不同数据分布引起的模型发散，包括局部对比损失和全局对比损失。第三，局部原型在服务器上通过加权平均进行聚合，并通过动量更新进行更新，以在客户端之间共享知识。为了评估所提出的SSFL-DCSL框架，在两个公开可用的数据集和一个从工厂电机收集的数据集上进行了实验。在最具挑战性的任务中，只有10%的数据被标记，所提出的SSFL-DCSL比最先进的方法提高了1.15%到7.85%的准确率。
🔬 方法详解
问题定义：论文旨在解决智能故障诊断中，由于数据分散在不同客户端，且标注数据稀缺，导致传统监督学习方法难以有效训练模型的问题。现有方法难以兼顾数据隐私保护和模型性能，且容易受到客户端数据分布差异的影响。
核心思路：论文的核心思路是利用半监督联邦学习，结合双重对比学习和软标签技术，在保护客户端数据隐私的前提下，充分利用未标注数据进行表征学习，并通过原型聚合实现客户端之间的知识共享，从而提高模型的泛化能力和诊断准确率。
技术框架：SSFL-DCSL框架主要包含以下几个阶段：1) 客户端本地训练：每个客户端利用本地的标注和未标注数据，通过深度学习模型进行特征提取和表示学习。2) 双重对比学习：在客户端本地，利用局部对比损失和全局对比损失，增强模型对不同数据分布的鲁棒性。3) 软标签生成与加权：利用模型预测结果生成伪标签，并使用基于拉普拉斯分布的样本加权函数，降低低置信度伪标签的影响。4) 原型聚合与更新：服务器端收集客户端上传的局部原型，通过加权平均进行聚合，并使用动量更新策略，维护全局原型。5) 模型更新与共享：服务器将更新后的全局原型发送给客户端，客户端利用全局原型进行模型微调。
关键创新：论文的关键创新在于：1) 提出了双重对比损失，有效缓解了由于客户端数据分布差异导致的模型发散问题。2) 设计了基于拉普拉斯分布的样本加权函数，降低了伪标签噪声对模型训练的影响。3) 将半监督学习与联邦学习相结合，在保护数据隐私的同时，提高了模型的泛化能力。
关键设计：1) 样本加权函数：基于拉普拉斯分布，对置信度较低的伪标签赋予较低的权重，减少噪声影响。2) 双重对比损失：包括局部对比损失（增强局部数据表示）和全局对比损失（拉近局部表示与全局原型），平衡局部和全局信息。3) 原型聚合：服务器端采用加权平均的方式聚合客户端上传的局部原型，权重可以根据客户端数据量或模型性能进行调整。4) 动量更新：服务器端使用动量更新策略更新全局原型，避免模型剧烈波动。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在两个公开数据集和一个工厂电机数据集上，SSFL-DCSL框架均取得了优于现有方法的性能。在最具挑战性的场景下，即只有10%的数据被标注时，SSFL-DCSL框架相比于其他最先进的方法，准确率提升了1.15%到7.85%，验证了该框架在半监督联邦学习环境下的有效性。
🎯 应用场景
该研究成果可应用于各种工业设备的智能故障诊断，例如电机、轴承、齿轮箱等。通过联邦学习，可以在保护各企业数据隐私的前提下，实现设备故障诊断知识的共享和积累，提高诊断准确率，降低维护成本，保障设备安全运行，具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
Intelligent fault diagnosis (IFD) plays a crucial role in ensuring the safe operation of industrial machinery and improving production efficiency. However, traditional supervised deep learning methods require a large amount of training data and labels, which are often located in different clients. Additionally, the cost of data labeling is high, making labels difficult to acquire. Meanwhile, differences in data distribution among clients may also hinder the model's performance. To tackle these challenges, this paper proposes a semi-supervised federated learning framework, SSFL-DCSL, which integrates dual contrastive loss and soft labeling to address data and label scarcity for distributed clients with few labeled samples while safeguarding user privacy. It enables representation learning using unlabeled data on the client side and facilitates joint learning among clients through prototypes, thereby achieving mutual knowledge sharing and preventing local model divergence. Specifically, first, a sample weighting function based on the Laplace distribution is designed to alleviate bias caused by low confidence in pseudo labels during the semi-supervised training process. Second, a dual contrastive loss is introduced to mitigate model divergence caused by different data distributions, comprising local contrastive loss and global contrastive loss. Third, local prototypes are aggregated on the server with weighted averaging and updated with momentum to share knowledge among clients. To evaluate the proposed SSFL-DCSL framework, experiments are conducted on two publicly available datasets and a dataset collected on motors from the factory. In the most challenging task, where only 10\% of the data are labeled, the proposed SSFL-DCSL can improve accuracy by 1.15% to 7.85% over state-of-the-art methods.