Hierarchical Federated Unlearning for Large Language Models

📄 arXiv: 2510.17895v1 📥 PDF

作者: Yisheng Zhong, Zhengbang Yang, Zhuangdi Zhu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-10-19

💡 一句话要点

提出层级联邦卸载学习方法，解决LLM异构数据下的持续卸载难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 机器卸载学习 大型语言模型 隐私保护 适配器学习

📋 核心要点

  1. 现有LLM卸载学习方法难以应对连续、异构的卸载需求，且面临数据分散和隐私保护的挑战。
  2. 论文提出一种联邦卸载学习方法，通过适配器学习解耦卸载和保留，并采用层级合并策略缓解冲突。
  3. 实验表明，该方法在处理异构卸载请求时，能有效保持LLM的性能，优于现有基线方法。

📝 摘要（中文）

大型语言模型（LLMs）日益融入实际应用，引发了对隐私、安全以及移除不良知识的需求。机器卸载学习（Machine Unlearning）已成为一种有前景的解决方案，但面临两个关键挑战：(1) 实际的卸载学习需求通常是连续且异构的；(2) 它们涉及去中心化的敏感数据，具有非对称访问权限。这些因素导致了域间和域内干扰，进一步加剧了不平衡遗忘和保留性能的困境。针对这些问题，我们提出了一种可扩展且保护隐私的LLM联邦卸载学习方法。我们的方法通过特定任务的适配器学习来解耦卸载和保留，并采用分层合并策略来缓解冲突目标，从而实现稳健、适应性强的卸载更新。在WMDP、MUSE和TOFU基准上的综合实验表明，与基线方法相比，我们的方法有效地处理了异构卸载请求，同时保持了强大的LLM效用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在联邦学习场景下的持续且异构的卸载学习问题。现有的卸载学习方法在处理不同领域和任务的卸载请求时，容易产生域间和域内干扰，导致模型在遗忘特定知识的同时，也损失了通用能力，难以平衡遗忘和保留性能。此外，数据分散和隐私保护也增加了卸载学习的难度。

核心思路：论文的核心思路是通过解耦卸载和保留过程，并采用分层合并策略来缓解冲突目标。具体来说，利用任务特定的适配器学习来进行卸载，避免直接修改LLM的参数，从而减少对通用能力的干扰。同时，通过层级合并策略，将不同客户端的卸载更新进行有效整合，以实现稳健的卸载效果。

技术框架：整体框架包括以下几个主要阶段：1) 客户端训练：每个客户端根据本地的卸载请求，使用适配器学习方法进行训练，生成本地的卸载更新。2) 服务器聚合：服务器接收来自各个客户端的卸载更新，并采用层级合并策略进行聚合，生成全局的卸载更新。3) 模型更新：服务器将全局的卸载更新应用到LLM中，完成卸载学习过程。

关键创新：论文最重要的技术创新点在于提出了层级联邦卸载学习框架，该框架能够有效地处理异构的卸载请求，并在保护隐私的同时，保持LLM的通用能力。与现有方法相比，该方法能够更好地平衡遗忘和保留性能，并具有更好的可扩展性。

关键设计：论文的关键设计包括：1) 任务特定的适配器学习：使用小型适配器模块来学习卸载知识，避免直接修改LLM的参数。2) 层级合并策略：采用分层结构来聚合不同客户端的卸载更新，以缓解冲突目标。3) 损失函数设计：设计了合适的损失函数，以鼓励模型遗忘特定知识，同时保持通用能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在WMDP、MUSE和TOFU等基准数据集上，能够有效地处理异构卸载请求，并在保持LLM通用能力的同时，显著提高卸载效果。与基线方法相比，该方法在卸载性能和模型效用之间取得了更好的平衡，证明了其有效性和优越性。

🎯 应用场景

该研究成果可应用于各种涉及大型语言模型的联邦学习场景，例如个性化推荐、金融风控、医疗诊断等。通过该方法，可以在保护用户隐私的前提下，安全地移除模型中的不良知识，并根据用户需求进行定制化调整，从而提高模型的安全性和可靠性，并促进LLM在各个领域的广泛应用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly integrated into real-world applications, raising concerns about privacy, security and the need to remove undesirable knowledge. Machine Unlearning has emerged as a promising solution, yet faces two key challenges: (1) practical unlearning needs are often continuous and heterogeneous, and (2) they involve decentralized, sensitive data with asymmetric access. These factors result in inter-domain and intra-domain interference, which further amplifies the dilemma of unbalanced forgetting and retaining performance. In response, we propose a federated unlearning approach for LLMs that is scalable and privacy preserving. Our method decouples unlearning and retention via task-specific adapter learning and employs a hierarchical merging strategy to mitigate conflicting objectives and enables robust, adaptable unlearning updates. Comprehensive experiments on benchmarks of WMDP, MUSE, and TOFU showed that our approach effectively handles heterogeneous unlearning requests while maintaining strong LLM utility compared with baseline methods.