One-shot federated unsupervised domain adaptation with Smoothed Knowledge Distillation and teacher refinement

📄 arXiv: 2610.30646v1 📥 PDF

作者: Ali Abedi, Q. M. Jonathan Wu, Ning Zhang, Farhad Pourpanah

分类: cs.CV, cs.AI

发布日期: 2026-10-22

备注: Published in Engineering Applications of Artificial Intelligence, Vol. 167, 113946 (2026). DOI: 10.1016/j.engappai.2026.113946. Available at: https://www.sciencedirect.com/science/article/pii/S0952197626002277 and Code is available at: https://github.com/A-Abedi/SKD_ETR

期刊: Engineering Applications of Artificial Intelligence 167 (2026) 113946

DOI: 10.1016/j.engappai.2026.113946

🔗 代码/项目: GITHUB

💡 一句话要点

提出SKD-ETR框架以解决FUDA中的标签噪声与通信效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 无监督领域适应 知识蒸馏 教师精炼 模型鲁棒性 噪声伪标签 单轮蒸馏

📋 核心要点

  1. 现有的FUDA方法通常需要多轮通信和复杂的聚合策略，难以处理噪声伪标签和不一致的源知识。
  2. 本文提出的SKD-ETR框架结合了平滑知识蒸馏和教师精炼，通过单轮蒸馏提高模型的适应性和鲁棒性。
  3. 在OfficeHome、Office-Caltech和DomainNet数据集上的实验表明，SKD-ETR在性能上具有竞争力，同时在通信和计算效率上表现优异。

📝 摘要（中文）

联邦无监督领域适应（FUDA）旨在在保护数据隐私的前提下，将模型适应到未标记的目标领域。然而，现有的FUDA方法通常需要多轮通信，依赖复杂的聚合策略，并且在处理噪声伪标签和不一致的源知识时表现不佳。为了解决这些问题，本文提出了一种新颖的一次性FUDA框架SKD-ETR，结合了平滑知识蒸馏（SKD）和基于指数移动平均的教师精炼（ETR）。SKD通过源模型的集成生成平滑的软伪标签，从而减少过度自信，缓解噪声并提高鲁棒性。ETR通过指数移动平均法进一步精炼每个源模型的参数，将目标领域知识传递回教师。SKD-ETR通过随机初始化学生模型并进行单轮蒸馏，消除了复杂的聚合过程。大量实验表明，SKD-ETR在通信和计算效率上表现优越，并在噪声监督下依然保持鲁棒性。

🔬 方法详解

问题定义：本文旨在解决联邦无监督领域适应（FUDA）中的标签噪声和通信效率问题。现有方法通常依赖多轮通信和复杂的聚合策略，难以有效处理噪声伪标签和不一致的源知识。

核心思路：SKD-ETR框架通过结合平滑知识蒸馏（SKD）和基于指数移动平均的教师精炼（ETR），实现了一次性FUDA。SKD通过生成平滑的软伪标签来减少过度自信和噪声，而ETR则通过参数精炼将目标领域知识反馈给源模型。

技术框架：SKD-ETR的整体架构包括两个主要模块：平滑知识蒸馏模块和教师精炼模块。首先，SKD模块利用源模型生成伪标签，然后通过ETR模块对源模型进行参数精炼，最终得到适应目标领域的学生模型。

关键创新：SKD-ETR的主要创新在于通过单轮蒸馏消除了复杂的聚合过程，且通过教师精炼提高了伪标签的质量和学生模型的泛化能力。这与现有方法的多轮通信和复杂聚合形成鲜明对比。

关键设计：在SKD模块中，使用平滑的软伪标签来训练学生模型，降低了标签噪声的影响；在ETR模块中，采用指数移动平均法精炼源模型参数，确保知识的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OfficeHome、Office-Caltech和DomainNet数据集上的实验结果显示，SKD-ETR在处理噪声监督时表现出色，相较于基线方法，性能提升幅度达到X%（具体数据未知），同时显著降低了通信和计算成本。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动驾驶和智能监控等需要保护数据隐私的场景。SKD-ETR框架能够在未标记数据的情况下有效提升模型性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Federated unsupervised domain adaptation (FUDA) addresses the challenge of adapting models to an unlabeled target domain using decentralized source domains while preserving data privacy. However, existing FUDA methods typically require multiple communication rounds, rely on complex aggregation strategies, and often struggle with noisy pseudo labels and inconsistent source knowledge. To address these challenges, we propose SKD-ETR, a novel one-shot FUDA framework that combines Smoothed Knowledge Distillation (SKD) and Exponential moving average-based Teacher Refinement (ETR). SKD trains a student model on the target domain using smoothed soft pseudo labels generated by the ensemble of source models. This reduces overconfidence, mitigates noise, and improves robustness. ETR further refines each source model by interpolating its parameters toward the student via exponential moving average (EMA), thereby transferring target-domain knowledge back to the teachers. This bidirectional refinement enhances pseudo-label quality and student generalization without additional communication overhead. SKD-ETR eliminates complex aggregation by initializing the student model randomly and performing a single-round distillation process. Extensive experiments on OfficeHome, Office-Caltech, and DomainNet demonstrate that SKD-ETR achieves competitive performance while being communication- and computation-efficient, and robust under noisy supervision. The code for this paper is available at https://github.com/A-Abedi/SKD_ETR.