Privacy-Preserving Split Learning for Federated LLM Fine-Tuning
作者: Heng Jin, Chaoyu Zhang, Hexuan Yu, Wenjing Lou, Y. Thomas Hou
分类: cs.LG
发布日期: 2026-09-09
💡 一句话要点
提出隐私保护的分割学习方法以解决联邦大语言模型微调问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 隐私保护 分割学习 联邦学习 大语言模型 模型微调 数据安全 激活模糊化
📋 核心要点
- 现有的分割学习和联邦学习方法在处理大型语言模型微调时面临隐私泄露的挑战，尤其是中间激活的传输可能泄露输入信息。
- 论文提出了一种学习的模糊和恢复方案，通过对中间激活进行处理，保护参与者的私有数据集，同时允许服务器端进行模型训练。
- 实验结果显示，该方法在隐私保护方面表现出色，效用损失和系统开销保持在合理范围内，证明了其实用性。
📝 摘要（中文）
在特定领域数据上微调大型语言模型（LLMs）对于下游适应至关重要。然而，参与者无法在本地持有完整模型，可能是由于模型所有者的保密或参与者计算资源不足。分割学习（SL）通过将模型分割为参与者和服务器之间的部分来解决此问题。在多个机构间分布的数据具有隐私要求时，联邦学习（FL）允许通过共享模型更新而非原始数据进行协作训练。本文提出了一种学习的模糊和恢复方案，保护参与者的私有数据集，同时允许在服务器端训练独立可部署的模型。实验表明，该方法在实现强隐私保护的同时，保持了适度的效用损失和系统开销，使得基于分割的联邦LLM微调在实践中可行。
🔬 方法详解
问题定义：本文旨在解决在分割学习和联邦学习环境下，微调大型语言模型时中间激活泄露输入信息的问题。现有的扰动防御方法在此场景中效果不佳，导致隐私保护不足。
核心思路：论文提出的模糊和恢复方案通过对中间激活进行学习处理，确保参与者的私有数据不被泄露，同时允许在服务器端进行有效的模型训练。这样的设计旨在平衡隐私保护与模型性能之间的关系。
技术框架：整体架构包括参与者端和服务器端，参与者负责本地计算并传输模糊化的中间激活，服务器端则进行模型更新和训练。主要模块包括数据处理、激活模糊化、模型训练和恢复。
关键创新：最重要的技术创新在于提出了一种新的模糊和恢复机制，能够有效防止输入信息泄露，与现有的基于扰动的方法相比，提供了更强的隐私保护。
关键设计：在设计中，采用了特定的损失函数来优化模糊化过程，并通过调整网络结构以适应分割学习的需求，确保模型在隐私保护下仍能保持良好的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在隐私保护方面显著优于现有技术，能够有效防止输入信息泄露。同时，效用损失保持在合理范围内，系统开销也得到了有效控制，证明了该方法的实用性和有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在医疗、金融等对隐私要求高的领域。通过保护参与者的私有数据，促进了跨机构的合作与数据共享，推动了大语言模型在特定领域的应用与发展。未来，该方法还可能扩展到其他类型的模型训练和隐私保护场景中。
📄 摘要（原文）
Fine-tuning large language models (LLMs) on domain-specific data is essential for downstream adaptation. In many deployments, a participant cannot hold the complete model locally. This happens because the model owner keeps the full model proprietary, or because the participant lacks sufficient compute resources. Split Learning (SL) addresses this by partitioning the model between the participant and a server so that only a small portion runs locally. When the underlying data is additionally distributed across multiple institutions with privacy requirements, Federated Learning (FL) further enables collaborative training across participants by sharing only model updates instead of raw data. In this combined setting, each client transmits intermediate activations to the server, and for LLM fine-tuning, this exchange poses an inherent privacy paradox. The autoregressive nature of LLMs causes the transmitted activations to leak the input, and existing perturbation-based defenses are fundamentally ineffective in this setting. We address this leakage through a learned obfuscate-and-recover scheme that protects participants' private datasets while still allowing an independently deployable model to be trained on the server side. Experiments demonstrate that our approach achieves strong privacy protection with modest utility loss and system overhead, making split-based federated LLM fine-tuning practically viable.