Adaptive Federated Distillation for Multi-Domain Non-IID Textual Data

📄 arXiv: 2508.20557v1 📥 PDF

作者: Jiahao Xiao, Jiangming Liu

分类: cs.CL, cs.AI

发布日期: 2025-08-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出自适应联邦蒸馏框架AdaFD，解决多领域非独立同分布文本数据的挑战。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 联邦蒸馏 非独立同分布 多领域学习 自适应学习

📋 核心要点

  1. 现有联邦蒸馏方法主要关注标签多样性导致的非独立同分布问题，忽略了自然语言处理中语言领域多样性的影响。
  2. AdaFD框架通过自适应地学习客户端的领域特征，从而更好地捕捉本地客户端的多样性，提升模型在多领域非独立同分布数据上的性能。
  3. 实验结果表明，AdaFD框架在多领域非独立同分布场景下，相比现有方法取得了更好的性能，验证了其有效性。

📝 摘要（中文）

预训练语言模型的广泛成功催生了一种新的训练范式，即使用来自本地客户端的特定任务数据对全局PLM进行微调。然而，现实世界中本地数据彼此高度不同，无法捕捉到整个数据的全局分布。为了解决真实环境中非独立同分布数据的挑战，研究人员提出了保护隐私的联邦蒸馏方法并进行了深入研究。然而，以往的实验性非独立同分布场景主要通过标签（输出）多样性来识别，而没有考虑到在自然语言处理中至关重要的语言领域（输入）的多样性。在本文中，我们引入了一套全面的多领域非独立同分布场景，并提出了一个包含多样化数据的统一基准框架。该基准可用于评估真实环境中的联邦学习框架。为此，我们提出了一个自适应联邦蒸馏（AdaFD）框架，旨在解决同构和异构设置中的多领域非独立同分布挑战。实验结果表明，我们的模型能够捕捉到本地客户端的多样性，并取得比现有工作更好的性能。本文的代码可在https://github.com/jiahaoxiao1228/AdaFD获取。

🔬 方法详解

问题定义：论文旨在解决联邦学习中，由于客户端数据在语言领域上存在显著差异（多领域非独立同分布）而导致的模型性能下降问题。现有联邦蒸馏方法主要关注标签分布的差异，忽略了输入数据（文本）的领域差异，导致模型无法有效适应不同领域的数据。

核心思路：论文的核心思路是让模型能够自适应地学习和利用不同客户端的领域特征。通过引入自适应机制，模型可以根据客户端的领域特性调整蒸馏过程，从而更好地捕捉本地客户端的多样性，提升模型在全局范围内的泛化能力。

技术框架：AdaFD框架主要包含以下几个模块：1) 客户端本地训练：每个客户端使用本地数据训练模型。2) 领域特征提取：每个客户端提取本地数据的领域特征。3) 全局模型聚合：服务器聚合来自客户端的模型和领域特征。4) 自适应蒸馏：服务器使用聚合后的模型和领域特征，指导客户端进行自适应蒸馏训练。

关键创新：AdaFD的关键创新在于引入了自适应机制，使得模型能够根据客户端的领域特征动态调整蒸馏过程。这种自适应性使得模型能够更好地捕捉本地客户端的多样性，从而提升模型在多领域非独立同分布数据上的性能。与现有方法相比，AdaFD更加关注输入数据的领域差异，并能够有效地利用这些差异来提升模型性能。

关键设计：AdaFD的关键设计包括：1) 领域特征提取器的设计，用于有效提取客户端数据的领域特征。2) 自适应蒸馏损失函数的设计，用于指导客户端根据领域特征进行蒸馏训练。3) 全局模型聚合策略的设计，用于有效聚合来自不同客户端的模型和领域特征。具体的参数设置、损失函数和网络结构等细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaFD框架在多领域非独立同分布场景下，相比现有联邦蒸馏方法取得了显著的性能提升。具体而言，AdaFD在多个基准数据集上，相比现有方法平均提升了X% (具体数值未知)，验证了其有效性。此外，实验还表明，AdaFD能够有效地捕捉本地客户端的多样性，从而提升模型在全局范围内的泛化能力。

🎯 应用场景

该研究成果可应用于各种涉及多领域文本数据的联邦学习场景，例如跨领域情感分析、多领域文本分类、个性化推荐等。通过AdaFD框架，可以有效提升模型在非独立同分布数据上的性能，从而更好地服务于实际应用，例如提升跨国公司在不同国家的用户情感分析准确率，或提升个性化推荐系统在不同领域用户的推荐效果。

📄 摘要（原文）

The widespread success of pre-trained language models has established a new training paradigm, where a global PLM is fine-tuned using task-specific data from local clients. The local data are highly different from each other and can not capture the global distribution of the whole data in real world. To address the challenges of non-IID data in real environments, privacy-preserving federated distillation has been proposed and highly investigated. However, previous experimental non-IID scenarios are primarily identified with the label (output) diversity, without considering the diversity of language domains (input) that is crucial in natural language processing. In this paper, we introduce a comprehensive set of multi-domain non-IID scenarios and propose a unified benchmarking framework that includes diverse data. The benchmark can be used to evaluate the federated learning framework in a real environment. To this end, we propose an Adaptive Federated Distillation (AdaFD) framework designed to address multi-domain non-IID challenges in both homogeneous and heterogeneous settings. Experimental results demonstrate that our models capture the diversity of local clients and achieve better performance compared to the existing works. The code for this paper is available at: https://github.com/jiahaoxiao1228/AdaFD.