Momentum-Guided Federated Split Distillation for Personalized Temporal Edge Intelligence

📄 arXiv: 2609.31159v1 📥 PDF

作者: Ahmed-Rafik Baahmed, Jean-François Dollinger, Amine Brahmia, Mourad Zghal

分类: cs.AI, cs.DC

发布日期: 2026-09-25

期刊: ECML PKDD 2026, Sep 2026, Naples, Italy

💡 一句话要点

提出动量引导的联邦分割蒸馏框架以实现个性化边缘智能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 个性化智能 边缘计算 蒸馏训练 动量聚类 时间序列分析 智能建筑

📋 核心要点

  1. 现有的联邦学习方法在个性化和效率上面临挑战，尤其是在时间敏感的边缘计算场景中。
  2. 本文提出的TeRR-SAtt结合了固定水库表示和轻量级学生模型，AMGF则通过动量聚类优化教师更新，提升了学习效果。
  3. 实验结果显示，TeRR-SAtt在多个性能指标上显著优于基线，尤其是在延迟和资源使用方面的改善。

📝 摘要（中文）

本文提出了一种动量引导的联邦分割蒸馏框架，旨在实现个性化、高效和自主的时间边缘智能。我们引入了TeRR-SAtt，一种新颖的时间水库学生注意力设计，结合了固定的水库表示、轻量级的时间学生和个性化输出模块。同时，提出了AMGF，一种前瞻性的动量引导融合机制，通过学习动量对客户端进行聚类，并推导出专门的教师更新。在真实的智能建筑数据上，TeRR-SAtt在边缘训练延迟、推理延迟、训练内存使用和推理CPU使用方面均显著优于基线方法。与此同时，AMGF在均方根误差（RMSE）方面相比全局更新提高了多达35.31%。

🔬 方法详解

问题定义：本文旨在解决现有联邦学习方法在个性化和效率上的不足，特别是在时间边缘智能应用中的延迟和资源消耗问题。现有方法往往无法有效处理动态变化的环境和个性化需求。

核心思路：论文提出的动量引导的联邦分割蒸馏框架通过引入TeRR-SAtt和AMGF，旨在提升个性化学习的效率和效果。TeRR-SAtt设计了一个轻量级的时间学生模型，结合固定的水库表示，以适应时间序列数据的特性。

技术框架：整体架构包括两个主要模块：TeRR-SAtt和AMGF。TeRR-SAtt负责生成个性化的学生模型，而AMGF则通过动量聚类优化教师模型的更新过程。整个流程通过联邦学习机制实现多客户端的协同训练。

关键创新：最重要的技术创新在于动量引导的融合机制AMGF，它通过学习动量对客户端进行聚类，从而实现更为精准的教师更新，显著提升了本地学习效果。

关键设计：在设计中，TeRR-SAtt采用了固定水库表示和轻量级网络结构，减少了计算资源的消耗。同时，AMGF的损失函数和更新策略经过精心设计，以确保在动态环境中保持高效的学习性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，TeRR-SAtt在边缘训练延迟上减少了65.50%，推理延迟降低了44.70%，训练内存使用减少了18.40%，推理CPU使用降低了33.10%。同时，AMGF在均方根误差（RMSE）方面相比全局更新提高了多达35.31%。

🎯 应用场景

该研究的潜在应用场景包括智能建筑、物联网设备和其他需要实时数据处理的边缘计算环境。通过提升个性化学习的效率，该框架能够为智能家居、智能城市等领域提供更为智能和自主的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose a momentum-guided federated split distillation framework for personalized, efficient, and autonomous temporal edge intelligence. We introduce TeRR-SAtt, our novel temporal reservoir student attention design that combines fixed reservoir representations, a lightweight temporal student, and personalized output modules. We also present AMGF, our anticipatory momentum-guided fusion mechanism that clusters clients through learning momentum and derives specialized teacher updates. On real-world smart-building data, TeRR-SAtt reduces edge training latency by 65.50%, inference latency by 44.70%, training memory usage by 18.40%, and inference CPU usage by 33.10% over the considered baselines. At the same time, AMGF improves local learning by up to 35.31% in RMSE compared to global updates.