Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models
作者: Yijun Quan, Wentai Wu, Giovanni Montana
分类: cs.LG
发布日期: 2026-03-13
💡 一句话要点
提出精确联邦持续卸载学习方法，用于冻结基座模型上的岭回归头
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联邦学习 持续学习 卸载学习 岭回归 基座模型
📋 核心要点
- 现有联邦卸载学习方法在通用深度模型上依赖近似，难以保证精确性和效率。
- 论文提出利用岭回归的充分统计量特性，实现精确且高效的联邦持续卸载学习。
- 实验证明该方法与集中式重训练结果高度一致，且能快速响应卸载请求。
📝 摘要（中文）
本文研究了联邦学习中，冻结的基座模型搭配可训练的岭回归头这一实际场景下的卸载学习问题。针对“被遗忘权”的需求，即按需移除特定样本或用户对已训练模型的影响，现有方法通常依赖于近似重构或选择性重训练，导致精确性难以保证且成本高昂。本文提出了一种精确的联邦持续卸载学习方法。该方法利用岭回归的特性，将精确最优解依赖的数据简化为两个可加的充分统计量，并设计了一种通信协议，通过固定大小的消息支持任意的添加和删除请求流。服务器维护的回归头在每次请求后，在精确算术上与集中式重训练的结果完全一致。论文提供了确定性的重训练等价性保证、顺序和划分不变性、两种服务器端变体以及零KL散度的贝叶斯证书。在四个基准数据集上的实验验证了这些保证，表明两种变体都与集中式岭回归重训练匹配，相对Frobenius误差在$10^{-9}$以内，并能快速完成每个请求。
🔬 方法详解
问题定义：论文旨在解决联邦学习场景下，用户数据具有“被遗忘权”时，如何从已训练模型中精确且高效地移除特定用户或样本的影响。现有联邦卸载学习方法，特别是针对深度模型的，通常采用近似重构或选择性重训练策略，这些方法要么计算成本高昂，要么无法保证卸载的精确性，即卸载后的模型与从头开始训练的模型不一致。
核心思路：论文的核心思路是利用岭回归的特性，将模型参数的更新简化为对少量充分统计量的更新。具体来说，岭回归的解可以通过数据的协方差矩阵和标签与数据的内积来表示。因此，卸载学习的问题就转化为如何高效地更新这些充分统计量，而无需访问原始数据。这种方法避免了对整个模型进行重训练或近似重构，从而保证了卸载的精确性和效率。
技术框架：整体框架包含客户端和服务端。客户端负责计算本地数据的充分统计量，并根据添加或删除请求，将这些统计量发送给服务端。服务端接收到客户端发送的统计量后，更新全局模型的充分统计量，并重新计算岭回归的参数。该过程支持任意的添加和删除请求流，保证了模型的持续更新。论文提出了两种服务端变体，以适应不同的计算资源和通信需求。
关键创新：最重要的技术创新点在于利用岭回归的充分统计量特性，将卸载学习问题转化为对少量统计量的更新问题。与现有方法相比，该方法能够保证卸载的精确性，即卸载后的模型与从头开始训练的模型在数学上是等价的。此外，该方法还具有通信效率高的优点，因为客户端只需要发送固定大小的统计量，而无需发送整个模型或原始数据。
关键设计：论文的关键设计包括：1) 使用岭回归作为可训练的头部，利用其解析解的特性；2) 设计了一种通信协议，用于在客户端和服务端之间传输充分统计量；3) 提出了两种服务端变体，以适应不同的计算资源和通信需求。这些设计保证了卸载学习的精确性、效率和可扩展性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在四个基准数据集上实现了与集中式岭回归重训练几乎完全一致的性能，相对Frobenius误差在$10^{-9}$以内。这验证了该方法能够精确地实现卸载学习，并且具有很高的效率，能够快速响应卸载请求。此外，论文还提供了确定性的重训练等价性保证和零KL散度的贝叶斯证书，进一步证明了该方法的可靠性。
🎯 应用场景
该研究成果可应用于各种联邦学习场景，尤其是在用户数据隐私保护要求高的领域，如医疗健康、金融服务等。它能够帮助企业满足数据合规性要求，保护用户隐私，同时保证模型性能。未来，该方法可以扩展到其他类型的模型和学习任务，为联邦学习的广泛应用提供技术支持。
📄 摘要（原文）
Foundation models are commonly deployed as frozen feature extractors with a small trainable head to adapt to private, user-generated data in federated settings. The ``right to be forgotten'' requires removing the influence of specific samples or users from the trained model on demand. Existing federated unlearning methods target general deep models and rely on approximate reconstruction or selective retraining, making exactness costly or elusive. We study this problem in a practically relevant but under-explored regime: a frozen foundation model with a ridge-regression head. The exact optimum depends on the data only through two additive sufficient statistics, which we turn into a communication protocol supporting an arbitrary stream of \emph{add} and \emph{delete} requests via fixed-size messages. The server maintains a head that is, in exact arithmetic, \emph{pointwise identical} to centralized retraining after every request. We provide deterministic retrain-equivalence guarantees, order and partition invariance, two server-side variants, and a Bayesian certificate of zero KL divergence. Experiments on four benchmarks confirm the guarantees: both variants match centralized ridge retraining to within $10^{-9}$ relative Frobenius error and complete each request at orders-of-