From Selection to Scheduling: Federated Geometry-Aware Correction Makes Exemplar Replay Work Better under Continual Dynamic Heterogeneity

📄 arXiv: 2604.08617v1 📥 PDF

作者: Zhuang Qi, Ying-Peng Tang, Lei Meng, Guoqing Chao, Lei Wu, Han Yu, Xiangxu Meng

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-04-09

备注: CVPR 2026 accepted

💡 一句话要点

提出FEAT：联邦几何感知校正方法，提升动态异构联邦持续学习中Exemplar Replay性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 联邦持续学习 Exemplar Replay 动态异构 几何感知 类不平衡

📋 核心要点

  1. 现有联邦持续学习方法侧重于选择重要样本，忽略了如何有效利用这些样本，导致在动态异构环境下性能受限。
  2. FEAT方法通过几何结构对齐和能量校正，缓解了类不平衡导致的表示崩溃问题，提升模型对少数类的敏感性。
  3. FEAT方法通过结构知识蒸馏和任务无关分量移除，增强了模型在类不平衡分布下的鲁棒性，提升了整体性能。

📝 摘要（中文）

Exemplar replay通过保留过去任务的代表性样本，已成为缓解联邦持续学习(FCL)中灾难性遗忘的有效策略。现有研究侧重于设计样本重要性估计机制来识别信息丰富的样本，但通常忽略了有效利用所选样本的策略，这限制了它们在跨客户端和任务的持续动态异构性下的性能。为了解决这个问题，本文提出了一种联邦几何感知校正方法，称为FEAT，它减轻了不平衡引起的表示崩溃，这种崩溃会将稀有类特征拖向跨客户端的频繁类。具体来说，它由两个关键模块组成：1) 几何结构对齐模块，通过对齐特征表示与其对应的等角紧框架原型之间的成对角度相似性来执行结构知识蒸馏，这些原型是固定的并在客户端之间共享，以作为类区分参考结构。这鼓励了跨任务的几何一致性，并有助于减轻表示漂移；2) 基于能量的几何校正模块，从特征嵌入中移除任务无关的方向分量，从而减少了对多数类的预测偏差。这提高了对少数类的敏感性，并增强了模型在类不平衡分布下的鲁棒性。

🔬 方法详解

问题定义：联邦持续学习（FCL）旨在使联邦模型能够持续学习新的任务，同时避免灾难性遗忘。Exemplar Replay是一种常用的方法，通过保存过去任务的代表性样本来缓解遗忘。然而，在实际的联邦环境中，数据往往呈现动态异构性，即不同客户端和任务之间的数据分布存在显著差异，特别是类不平衡问题。现有方法主要关注如何选择“好”的样本，而忽略了如何有效地利用这些样本，导致模型容易受到多数类别的支配，从而降低了对少数类别的识别能力。

核心思路：FEAT的核心思路是通过几何感知校正来缓解类不平衡导致的表示崩溃问题。具体来说，它通过两个模块来实现：一是几何结构对齐，确保不同任务的特征表示在几何结构上保持一致，从而减轻表示漂移；二是能量校正，移除特征嵌入中任务无关的方向分量，减少对多数类的预测偏差，提高对少数类的敏感性。这样设计的目的是使模型能够更好地泛化到新的任务，并保持对过去任务的记忆。

技术框架：FEAT方法主要包含两个模块： 1. 几何结构对齐模块 (Geometric Structure Alignment)：该模块通过结构知识蒸馏，将特征表示与其对应的等角紧框架（Equiangular Tight Frame, ETF）原型进行对齐。ETF原型是预先定义好的，并在所有客户端之间共享，作为类区分的参考结构。 2. 基于能量的几何校正模块 (Energy-based Geometric Correction)：该模块通过能量函数来评估特征嵌入中任务无关的方向分量，并将其移除，从而减少对多数类的预测偏差。

关键创新：FEAT的关键创新在于同时考虑了样本选择和样本利用两个方面，并引入了几何感知的校正机制。与现有方法相比，FEAT不仅关注选择信息丰富的样本，还关注如何利用这些样本来提升模型的泛化能力和鲁棒性。通过几何结构对齐和能量校正，FEAT能够有效地缓解类不平衡导致的表示崩溃问题，从而提升联邦持续学习的性能。

关键设计： * 等角紧框架 (ETF) 原型：ETF原型作为类区分的参考结构，其设计需要保证不同类别之间的区分度。具体实现中，可以使用预定义的ETF或者通过学习得到。 * 几何结构对齐损失函数：该损失函数用于衡量特征表示与ETF原型之间的几何结构差异，并促使特征表示向ETF原型对齐。可以使用余弦相似度或者其他几何距离度量。 * 能量函数：能量函数用于评估特征嵌入中任务无关的方向分量。可以使用基于能量的模型或者其他方法来定义能量函数。 * 校正策略：校正策略用于移除特征嵌入中任务无关的方向分量。可以使用梯度下降或者其他优化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的FEAT方法在多个联邦持续学习数据集上进行了实验验证，结果表明FEAT能够显著提升模型的性能，尤其是在类不平衡的情况下。与现有方法相比，FEAT在准确率和鲁棒性方面均取得了显著提升，证明了其有效性。

🎯 应用场景

FEAT方法可应用于各种联邦学习场景，尤其是在数据具有动态异构性和类不平衡的场景下，例如联邦医疗、金融风控、智能推荐等。通过提升模型在异构数据上的泛化能力和鲁棒性，FEAT可以帮助构建更可靠、更公平的联邦学习系统，从而更好地服务于用户。

📄 摘要（原文）

Exemplar replay has become an effective strategy for mitigating catastrophic forgetting in federated continual learning (FCL) by retaining representative samples from past tasks. Existing studies focus on designing sample-importance estimation mechanisms to identify information-rich samples. However, they typically overlook strategies for effectively utilizing the selected exemplars, which limits their performance under continual dynamic heterogeneity across clients and tasks. To address this issue, this paper proposes a Federated gEometry-Aware correcTion method, termed FEAT, which alleviates imbalance-induced representation collapse that drags rare-class features toward frequent classes across clients. Specifically, it consists of two key modules: 1) the Geometric Structure Alignment module performs structural knowledge distillation by aligning the pairwise angular similarities between feature representations and their corresponding Equiangular Tight Frame prototypes, which are fixed and shared across clients to serve as a class-discriminative reference structure. This encourages geometric consistency across tasks and helps mitigate representation drift; 2) the Energy-based Geometric Correction module removes task-irrelevant directional components from feature embeddings, which reduces prediction bias toward majority classes. This improves sensitivity to minority classes and enhances the model's robustness under class-imbalanced distributions.