Privacy-Preserving Distributed Stochastic Optimization with Homomorphic Encryption and Heterogeneous Stepsizes
作者: Haoqiang Zhou, Chi Chen, Yongfeng Zhi, Huan Gao
分类: eess.SY
发布日期: 2026-04-23
备注: This is the full version of the paper accepted to the 23rd IFAC World Congress, Busan, Republic of Korea, August 23-28, 2026. This version includes all proofs omitted from the conference proceedings due to page limitations
💡 一句话要点
提出基于同态加密和异构步长的隐私保护分布式随机优化算法
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 分布式优化 隐私保护 同态加密 随机梯度下降 异构步长
📋 核心要点
- 分布式学习面临数据隐私泄露风险，现有方法难以兼顾精度和效率。
- 提出结合Paillier同态加密和异构步长的随机梯度下降算法，实现隐私保护。
- 引入衰减因子缓解加密量化误差，数值实验验证了算法的有效性和效率。
📝 摘要（中文）
分布式随机优化促进了多智能体协作，例如分布式学习和传感器网络，但也因涉及敏感数据而引发了严重的隐私问题。现有隐私保护方法在平衡准确性和效率方面常常面临局限性。为此，我们提出了一种新的分布式随机梯度下降算法，该算法集成了Paillier同态加密与异构且时变的随机步长。该算法提供了针对内部诚实但好奇的代理和外部窃听者的固有隐私保护，而无需依赖任何受信任的邻居。此外，我们引入了一个衰减因子，以有效缓解由加密过程引起的量化误差，从而在保持隐私保护的同时，确保几乎必然收敛到最优解。数值模拟验证了所提出方法的有效性和效率。
🔬 方法详解
问题定义：论文旨在解决分布式随机优化中，由于涉及敏感数据而产生的隐私泄露问题。现有隐私保护方法，如差分隐私等，通常需要在隐私保护强度和优化精度之间进行权衡，或者在计算效率上存在瓶颈。此外，许多方法依赖于可信第三方或可信邻居，这在实际应用中可能难以满足。
核心思路：论文的核心思路是利用Paillier同态加密技术，使得各个agent可以在加密的数据上进行计算，从而保护本地数据的隐私。同时，引入异构且时变的随机步长，以提高算法的收敛速度和适应性。此外，通过引入衰减因子，来缓解同态加密带来的量化误差，保证算法的收敛性。
技术框架：该算法是一个分布式随机梯度下降框架。每个agent使用本地数据计算随机梯度，然后使用Paillier同态加密对梯度进行加密。加密后的梯度被发送到中心服务器或聚合节点。聚合节点在加密域上对梯度进行聚合。聚合后的梯度被发送回各个agent。agent使用私钥解密聚合后的梯度，并更新本地模型参数。整个过程重复进行，直到算法收敛。
关键创新：该论文的关键创新在于将Paillier同态加密、异构步长和衰减因子结合起来，提出了一种新的隐私保护分布式随机梯度下降算法。该算法能够在保护数据隐私的同时，保证算法的收敛性和计算效率。与现有方法相比，该算法不需要可信第三方或可信邻居，具有更强的实用性。
关键设计：算法的关键设计包括：1) 使用Paillier同态加密算法，保证加密过程的安全性；2) 使用异构且时变的随机步长，提高算法的收敛速度；3) 引入衰减因子，缓解同态加密带来的量化误差。衰减因子的选择需要根据加密算法的精度和数据的分布进行调整。此外，算法的收敛性分析需要考虑加密误差、步长选择和数据异构性等因素。
🖼️ 关键图片
📊 实验亮点
论文通过数值模拟验证了所提出算法的有效性和效率。实验结果表明，该算法能够在保护数据隐私的同时，实现与未加密算法相近的收敛速度和精度。此外，实验还验证了衰减因子在缓解量化误差方面的作用。具体性能数据未知，但论文强调了在保证隐私的前提下，实现了有效的优化。
🎯 应用场景
该研究成果可应用于联邦学习、分布式传感器网络、智能电网等领域，在这些场景中，多个参与者需要协作完成任务，但又希望保护各自的私有数据。例如，在医疗领域，多个医院可以联合训练一个疾病诊断模型，而无需共享患者的病历数据。在金融领域，多个银行可以联合进行反欺诈分析，而无需共享用户的交易记录。
📄 摘要（原文）
Distributed stochastic optimization enables multi-agent collaboration in applications such as distributed learning and sensor networks, but also raises critical privacy concerns due to the involvement of sensitive data. While existing privacy-preserving approaches often face limitations in balancing accuracy with efficiency, we propose a novel distributed stochastic gradient descent algorithm that integrates Paillier homomorphic encryption with heterogeneous and time-varying random stepsizes. The proposed algorithm provides inherent privacy protection against both internal honest-but-curious agents and external eavesdroppers, without relying on any trusted neighbors. Furthermore, we incorporate an attenuation factor to effectively mitigate quantization error induced by the encryption process, ensuring almost sure convergence to the optimal solution while maintaining privacy preservation. Numerical simulations demonstrate the effectiveness and efficiency of the proposed approach.