Data-Free Contribution Estimation in Federated Learning using Gradient von Neumann Entropy
作者: Asim Ukaye, Mubarak Abdu-Aguye, Nurbek Tastan, Karthik Nandakumar
分类: cs.LG, cs.AI, cs.CV, cs.DC
发布日期: 2026-04-24
备注: 10 pages, 4 figures, 4 pages Appendix, 6 figures in Appendix. To appear in CVPR 2026 FedVision Workshop
💡 一句话要点
提出基于梯度von Neumann熵的联邦学习无数据贡献度评估方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 联邦学习 贡献度评估 von Neumann熵 无数据学习 梯度分析
📋 核心要点
- 现有联邦学习贡献度评估方法依赖服务器验证数据或客户端信息，存在隐私泄露或易被操控的风险。
- 论文提出基于梯度von Neumann熵的无数据贡献度评估方法，衡量客户端更新信息的多样性。
- 实验表明，该方法在多种数据集和非独立同分布场景下，与客户端精度高度相关，优于现有无数据方法。
📝 摘要（中文）
本文提出了一种联邦学习中无数据客户端贡献度评估方法，旨在识别客户端的重要性并提供公平的奖励。现有方法通常依赖于服务器端的验证数据或客户端的自我报告信息，这可能会损害隐私或容易受到操纵。我们引入了一种基于最终层更新的矩阵von Neumann（谱）熵的无数据信号，该信号衡量了所贡献信息的 diversity。我们实例化了两种实用的方案：（i）SpectralFed，它使用归一化熵作为聚合权重；（ii）SpectralFuse，它通过秩自适应卡尔曼滤波器融合熵和特定于类的对齐，以实现每轮稳定性。在CIFAR-10/100以及自然分区的FEMNIST和FedISIC基准测试中，熵导出的分数在不同的非IID机制下始终与独立的客户端精度高度相关——无需验证数据或客户端元数据。我们将我们的结果与无数据贡献度估计基线进行比较，并表明谱熵可以作为客户端贡献的有用指标。
🔬 方法详解
问题定义：联邦学习中，如何公平地评估每个客户端的贡献度是一个关键问题。现有的贡献度评估方法，例如基于服务器端验证数据或客户端自我报告，存在隐私泄露的风险，或者容易受到恶意客户端的操纵。因此，如何在不访问客户端数据的情况下，准确评估客户端的贡献度是一个挑战。
核心思路：论文的核心思路是利用客户端模型更新的梯度信息，通过计算梯度矩阵的von Neumann熵来衡量客户端贡献信息的多样性。von Neumann熵能够反映梯度矩阵的谱分布，从而捕捉客户端更新的丰富程度。贡献越大的客户端，其梯度更新应该包含更多样化的信息，因此具有更高的von Neumann熵。
技术框架：论文提出了两种基于梯度von Neumann熵的联邦学习方案：SpectralFed和SpectralFuse。SpectralFed直接使用归一化的von Neumann熵作为聚合权重，贡献度高的客户端权重更大。SpectralFuse则将von Neumann熵与类别相关的对齐信息融合，并使用秩自适应卡尔曼滤波器来提高每轮训练的稳定性。整体流程包括：客户端本地训练、客户端上传梯度更新、服务器计算梯度von Neumann熵、服务器根据熵值进行模型聚合。
关键创新：论文的关键创新在于提出了使用梯度von Neumann熵作为无数据贡献度评估指标。与现有方法相比，该方法不需要访问客户端的原始数据或元数据，从而保护了客户端的隐私。此外，von Neumann熵能够有效地捕捉客户端更新信息的多样性，从而更准确地评估客户端的贡献度。
关键设计：论文的关键设计包括：(1) 使用最终层梯度更新计算von Neumann熵，因为最终层梯度更能反映客户端学习到的特征。(2) 提出了SpectralFed和SpectralFuse两种不同的聚合方案，SpectralFuse通过卡尔曼滤波提高了训练的稳定性。(3) 使用秩自适应卡尔曼滤波器，能够根据数据的复杂程度自动调整滤波器的参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于梯度von Neumann熵的贡献度评估方法在CIFAR-10/100、FEMNIST和FedISIC等数据集上，与客户端的独立精度具有高度相关性。与现有的无数据贡献度评估方法相比，该方法能够更准确地评估客户端的贡献度，从而提高联邦学习模型的性能。
🎯 应用场景
该研究成果可应用于各种联邦学习场景，例如移动设备上的个性化推荐、医疗数据分析等。通过准确评估客户端的贡献度，可以激励更多用户参与联邦学习，并提高模型的整体性能。此外，该方法还可以用于检测恶意客户端，防止其对模型造成损害。
📄 摘要（原文）
Client contribution estimation in Federated Learning is necessary for identifying clients' importance and for providing fair rewards. Current methods often rely on server-side validation data or self-reported client information, which can compromise privacy or be susceptible to manipulation. We introduce a data-free signal based on the matrix von Neumann (spectral) entropy of the final-layer updates, which measures the diversity of the information contributed. We instantiate two practical schemes: (i) SpectralFed, which uses normalized entropy as aggregation weights, and (ii) SpectralFuse, which fuses entropy with class-specific alignment via a rank-adaptive Kalman filter for per-round stability. Across CIFAR-10/100 and the naturally partitioned FEMNIST and FedISIC benchmarks, entropy-derived scores show a consistently high correlation with standalone client accuracy under diverse non-IID regimes - without validation data or client metadata. We compare our results with data-free contribution estimation baselines and show that spectral entropy serves as a useful indicator of client contribution.