Cascading Gradient Inversion via LT-Code Inspired Peeling in Federated Learning
作者: Saeed Shariati, Mohsen Alambardar Meybodi
分类: cs.LG, cs.AI, cs.CR
发布日期: 2026-09-09
💡 一句话要点
提出基于LT码的渐进梯度反演方法以解决联邦学习隐私泄露问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 联邦学习 隐私保护 梯度反演 纠删码 数据恢复 机器学习安全 模型更新
📋 核心要点
- 现有的解析重建攻击在批量增大时效果显著下降，限制了恢复能力。
- 本文通过将梯度反演与纠删码理论相结合，提出了一种新型攻击方法，能够超越现有的恢复界限。
- 实验结果显示，该方法在多个基准上表现优异，恢复率显著高于以往单轮攻击，甚至在被动设置下也能取得良好效果。
📝 摘要（中文）
联邦学习通过共享模型更新而非原始数据来保护隐私，但这些更新仍可被反演以重建客户端的训练数据。现有的解析重建攻击在批量增大时效果下降，单轮攻击在批量大小为100时仅能恢复约一半的数据。本文建立了梯度反演与纠删码理论之间的联系，提出了一种新型攻击方法，能够在单轮FedSGD中准确恢复批量数据及其标签，并在无真实数据的情况下验证每次恢复的有效性。实验结果表明，该方法在八个图像和表格基准上显著超越了以往的单轮攻击，甚至被动攻击者在观察诚实训练的网络时也能恢复94%至100%的ImageNet批量数据，显示出联邦学习的隐私泄露问题被低估了。
🔬 方法详解
问题定义：本文旨在解决联邦学习中模型更新的反演问题，现有方法在批量增大时恢复效果显著下降，限制了隐私保护的有效性。
核心思路：通过将梯度反演与纠删码理论相结合，构建了一种新型攻击方法，能够在单轮FedSGD中准确恢复数据及其标签。这样的设计使得攻击者在没有真实数据的情况下也能验证恢复的有效性。
技术框架：整体方法包括数据采集、梯度反演、标签恢复和有效性验证四个主要模块。首先收集模型更新的梯度信息，然后应用纠删码理论进行反演，最后通过特定算法验证恢复的准确性。
关键创新：最重要的创新在于将梯度反演与纠删码理论相结合，突破了以往单轮攻击的恢复界限，实现了对批量数据的精确恢复。
关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以优化恢复效果。同时，网络结构设计上考虑了梯度信息的有效利用，确保了恢复过程的高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文提出的方法在多个基准上显著优于以往单轮攻击，恢复率高达94%至100%，即使在被动攻击者的情况下，批量大小达到128时也能实现超过90%的恢复率，展示了联邦学习隐私泄露的严重性。
🎯 应用场景
该研究的潜在应用领域包括保护用户隐私的机器学习系统、医疗数据分析以及金融数据处理等。通过提高联邦学习的安全性，可以在不泄露用户数据的前提下，进行有效的模型训练，具有重要的实际价值和未来影响。
📄 摘要（原文）
Federated learning shares model updates rather than raw data, yet these updates can be inverted to reconstruct the clients' training data. Analytic reconstruction attacks, which invert a gradient in closed form, degrade as the batch grows: prior single-round attacks recover only about half of a batch of size $100$ even when the attacker fully controls the network parameters, and known upper bounds limit what any such method can recover. We establish a connection between gradient inversion and the theory of erasure-correcting codes, and use it to construct attacks that exceed these bounds. Our attacks recover batches exactly, together with every sample's label, from a single FedSGD round, and certify each recovery without ground-truth data. On eight image and tabular benchmarks they outperform prior single-round attacks by a wide margin. Even a passive attacker who only observes an honestly trained network recovers $94$--$100\%$ of ImageNet batches at sizes up to $128$, more than prior single-round attacks achieve even with active manipulation of the model, and in the active setting more than $90\%$ is recovered at batch sizes of several hundred. These results show that the privacy leakage of federated learning has been underestimated.