Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions
作者: Rustem Islamov, Grigory Malinovsky, Alexander Gaponov, Aurelien Lucchi, Peter Richtárik, Eduard Gorbunov
分类: cs.LG, cs.CR, math.OC
发布日期: 2026-04-07
💡 一句话要点
提出Byz-Clip21-SGD2M以解决联邦学习中的隐私与鲁棒性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 联邦学习 差分隐私 拜占庭鲁棒性 模型聚合 深度学习
📋 核心要点
- 现有方法往往依赖不切实际的假设，无法有效解决联邦学习中的隐私泄露和拜占庭攻击问题。
- 本文提出Byz-Clip21-SGD2M算法，结合鲁棒聚合、双重动量和剪裁设计，以增强模型的隐私性和鲁棒性。
- 实验证明，该算法在MNIST数据集上训练的CNN和MLP模型中，收敛速率和效用均优于现有方法。
📝 摘要（中文）
联邦学习（FL）允许异构客户端在不集中原始数据的情况下协作训练共享模型，从而提供了一定程度的隐私保护。然而，梯度和模型更新仍可能泄露敏感信息，恶意服务器可能发起拜占庭攻击等对抗性攻击。这些脆弱性突显了在统一框架内解决差分隐私（DP）和拜占庭鲁棒性的必要性。现有方法通常依赖于不切实际的假设，如有界梯度，或需要辅助的服务器端数据集，或未能提供收敛保证。为了解决这些局限性，本文提出了Byz-Clip21-SGD2M，这是一种将鲁棒聚合与双重动量和精心设计的剪裁相结合的新算法。我们在标准的L-光滑性和σ-次高斯梯度噪声假设下证明了高概率收敛保证，从而放宽了先前工作的主导条件。我们的分析在没有对手的情况下恢复了最先进的收敛速率，并在拜占庭和DP设置下改善了效用保证。对在MNIST上训练的CNN和MLP模型的实证评估进一步验证了我们方法的有效性。
🔬 方法详解
问题定义：本文旨在解决联邦学习中存在的隐私泄露和拜占庭攻击问题。现有方法通常依赖于不切实际的假设，导致在实际应用中效果不佳。
核心思路：提出Byz-Clip21-SGD2M算法，通过结合鲁棒聚合、双重动量和剪裁设计，来增强模型的隐私保护和鲁棒性。这样的设计能够有效抵御恶意攻击，同时保持模型的收敛性。
技术框架：该算法的整体架构包括数据预处理、梯度计算、鲁棒聚合和模型更新四个主要模块。每个模块都经过精心设计，以确保在不同攻击场景下的有效性。
关键创新：最重要的技术创新在于将双重动量与鲁棒聚合相结合，并引入精心设计的剪裁机制。这与现有方法的本质区别在于，能够在更宽松的假设下实现收敛保证。
关键设计：算法中关键的参数设置包括动量系数和剪裁阈值，损失函数采用标准的交叉熵损失，网络结构则基于常见的CNN和MLP架构进行设计，以适应MNIST数据集的特性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Byz-Clip21-SGD2M算法在MNIST数据集上训练的CNN和MLP模型中，收敛速率达到了最先进水平，且在拜占庭攻击和差分隐私设置下的效用保证显著提高，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括医疗、金融和智能设备等需要保护用户隐私的场景。通过在这些领域中应用Byz-Clip21-SGD2M算法，可以有效提升模型的安全性和鲁棒性，确保用户数据的隐私不被泄露，同时抵御恶意攻击的风险。
📄 摘要（原文）
Federated Learning (FL) enables heterogeneous clients to collaboratively train a shared model without centralizing their raw data, offering an inherent level of privacy. However, gradients and model updates can still leak sensitive information, while malicious servers may mount adversarial attacks such as Byzantine manipulation. These vulnerabilities highlight the need to address differential privacy (DP) and Byzantine robustness within a unified framework. Existing approaches, however, often rely on unrealistic assumptions such as bounded gradients, require auxiliary server-side datasets, or fail to provide convergence guarantees. We address these limitations by proposing Byz-Clip21-SGD2M, a new algorithm that integrates robust aggregation with double momentum and carefully designed clipping. We prove high-probability convergence guarantees under standard $L$-smoothness and $\sigma$-sub-Gaussian gradient noise assumptions, thereby relaxing conditions that dominate prior work. Our analysis recovers state-of-the-art convergence rates in the absence of adversaries and improves utility guarantees under Byzantine and DP settings. Empirical evaluations on CNN and MLP models trained on MNIST further validate the effectiveness of our approach.