A Split-and-Privatize Framework for Large Language Model Fine-Tuning

📄 arXiv: 2312.15603v1 📥 PDF

作者: Xicong Shen, Yang Liu, Huiqi Liu, Jue Hong, Bing Duan, Zirui Huang, Yunlong Mao, Ye Wu, Di Wu

分类: cs.CL

发布日期: 2023-12-25

💡 一句话要点

提出Split-and-Privatize框架，解决MaaS中大模型微调的数据隐私泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 隐私保护 Split Learning 模型即服务

📋 核心要点

  1. MaaS模式下，客户微调模型存在数据泄露风险，需要保护客户的私有数据。
  2. SAP框架利用split learning架构，将模型分割并在客户端和服务端分别训练，降低隐私泄露风险。
  3. 实验表明，SAP框架在牺牲少量性能的前提下，显著提升了数据隐私保护水平。

📝 摘要（中文）

本文针对模型即服务(MaaS)中，客户使用私有数据集微调预训练语言模型时存在的模型和数据隐私泄露风险，提出了一种Split-and-Privatize (SAP)框架。该框架通过改进现有的split learning架构来缓解隐私问题。实验结果表明，在Stanford Sentiment Treebank数据集上，SAP框架以1%的模型性能下降为代价，能够将经验隐私提高62%。

🔬 方法详解

问题定义：在模型即服务（MaaS）场景下，客户使用自己的私有数据集对供应商提供的预训练语言模型进行微调，存在严重的数据隐私泄露风险。传统的微调方法直接将客户数据上传到服务端进行训练，服务端可以轻易获取客户的敏感信息。现有方法缺乏有效的隐私保护机制，无法保证客户数据的安全性。

核心思路：本文的核心思路是利用split learning的思想，将模型的训练过程分割成两部分，一部分在客户端进行，另一部分在服务端进行。客户端只负责处理部分数据和模型，并将中间结果发送给服务端，服务端再进行后续的训练。这样可以有效减少客户端数据直接暴露给服务端的风险，从而保护客户的隐私。

技术框架：SAP框架主要包含以下几个模块：1) 客户端模型分割：将预训练模型分割成客户端模型和服务端模型。2) 客户端本地训练：客户端使用私有数据训练客户端模型，生成中间激活值。3) 激活值传输：客户端将激活值发送到服务端。4) 服务端模型训练：服务端使用接收到的激活值训练服务端模型。5) 模型更新：服务端将更新后的模型参数发送给客户端（可选）。

关键创新：SAP框架的关键创新在于将split learning应用于大语言模型的微调，并针对MaaS场景下的隐私保护需求进行了优化。与传统的split learning方法相比，SAP框架更加注重在保证模型性能的同时，最大程度地降低隐私泄露的风险。

关键设计：SAP框架的关键设计包括：1) 模型分割策略：选择合适的模型分割点，平衡客户端和服务端的计算负担。2) 激活值加密：对客户端发送的激活值进行加密，防止中间人攻击。3) 差分隐私：在服务端训练过程中引入差分隐私，进一步增强隐私保护能力。4) 性能优化：采用知识蒸馏等技术，减少模型分割带来的性能损失。

📊 实验亮点

实验结果表明，在Stanford Sentiment Treebank数据集上，SAP框架以1%的模型性能下降为代价，能够将经验隐私提高62%。这一结果表明，SAP框架在隐私保护和模型性能之间取得了较好的平衡，具有实际应用价值。

🎯 应用场景

SAP框架可应用于各种需要保护用户数据隐私的MaaS场景，例如金融、医疗等领域。通过该框架，用户可以在享受大语言模型强大能力的同时，有效保护自己的数据隐私，促进人工智能技术在敏感领域的应用。

📄 摘要（原文）

Fine-tuning is a prominent technique to adapt a pre-trained language model to downstream scenarios. In parameter-efficient fine-tuning, only a small subset of modules are trained over the downstream datasets, while leaving the rest of the pre-trained model frozen to save computation resources. In recent years, a popular productization form arises as Model-as-a-Service (MaaS), in which vendors provide abundant pre-trained language models, server resources and core functions, and customers can fine-tune, deploy and invoke their customized model by accessing the one-stop MaaS with their own private dataset. In this paper, we identify the model and data privacy leakage risks in MaaS fine-tuning, and propose a Split-and-Privatize (SAP) framework, which manage to mitigate the privacy issues by adapting the existing split learning architecture. The proposed SAP framework is sufficiently investigated by experiments, and the results indicate that it can enhance the empirical privacy by 62% at the cost of 1% model performance degradation on the Stanford Sentiment Treebank dataset.