Private LoRA Fine-tuning of Open-Source LLMs with Homomorphic Encryption

📄 arXiv: 2505.07329v1 📥 PDF

作者: Jordan Frery, Roman Bredehoft, Jakub Klemsa, Arthur Meyre, Andrei Stoian

分类: cs.CR, cs.LG

发布日期: 2025-05-12

💡 一句话要点

提出基于同态加密的私有LoRA微调方案，保护LLM训练数据隐私

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同态加密 低秩适应 私有微调 大型语言模型 数据隐私

📋 核心要点

  1. 在开源LLM微调过程中保护数据隐私至关重要，但现有方法通常需要大量计算资源或无法保证数据安全。
  2. 本文提出一种基于同态加密的LoRA微调方案，允许在远程工作节点上安全地进行模型训练，同时保护数据的机密性。
  3. 实验结果表明，该方法在Llama-3.2-1B模型上实现了收敛，并提供了GPU上同态加密计算的性能基准。

📝 摘要（中文）

本文提出了一种交互式协议，用于在保护数据隐私的前提下微调开源大型语言模型（LLM）。该协议采用低秩适应（LoRA）技术进行私有微调，并利用同态加密（HE）保护训练数据和梯度的机密性，这些数据和梯度由远程工作节点处理，这些节点执行涉及基础模型权重的大部分计算。数据所有者负责协调训练过程，只需要极少的本地计算能力和内存，从而无需昂贵的客户端GPU。通过对Llama-3.2-1B模型进行微调，展示了该方法的可行性，并提供了使用HE兼容量化的收敛结果以及GPU硬件上HE计算的性能基准。该方法适用于诸如机密知识库问答、用于AI代码助手的私有代码库微调、用于根据公司电子邮件档案起草电子邮件的AI代理，以及调整模型以分析敏感的法律或医疗保健文档等应用。

🔬 方法详解

问题定义：论文旨在解决在微调开源大型语言模型（LLM）时，如何保护训练数据的隐私问题。现有的微调方法通常需要将敏感数据暴露给第三方计算节点，存在数据泄露的风险。此外，一些隐私保护方法（如联邦学习）可能需要大量的通信开销，或者对模型性能产生负面影响。

核心思路：论文的核心思路是利用同态加密（HE）技术，对训练数据和梯度进行加密，使得远程工作节点可以在密文上进行计算，而无需访问原始数据。同时，采用低秩适应（LoRA）技术，只微调少量参数，从而降低计算复杂度，提高训练效率。

技术框架：整体框架包含数据所有者和远程工作节点。数据所有者负责加密训练数据，并将加密后的数据和模型发送给远程工作节点。远程工作节点在密文上进行前向传播、反向传播和梯度更新。更新后的加密梯度被发送回数据所有者，数据所有者解密梯度并更新LoRA参数。这个过程迭代进行，直到模型收敛。

关键创新：该方法的关键创新在于将同态加密和LoRA技术相结合，实现了在保护数据隐私的前提下高效地微调LLM。此外，论文还探索了HE兼容的量化技术，进一步提高了计算效率。

关键设计：论文采用了LoRA技术，只微调少量参数，从而降低了计算复杂度。同时，为了提高同态加密的计算效率，论文探索了HE兼容的量化技术。具体的参数设置和损失函数等技术细节在论文中进行了详细描述（具体数值未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在Llama-3.2-1B模型上进行微调，验证了该方法的可行性。实验结果表明，该方法可以实现模型的收敛，并提供了GPU上同态加密计算的性能基准。虽然具体的性能数据和提升幅度未知，但该研究为在保护数据隐私的前提下微调LLM提供了一个有前景的解决方案。

🎯 应用场景

该研究成果可应用于多个领域，例如：在不泄露客户数据的前提下，为金融机构定制风险评估模型；在保护患者隐私的前提下，为医疗机构训练疾病诊断模型；在确保法律文件机密性的前提下，为律师事务所微调法律文本生成模型。该方法有助于推动AI技术在敏感数据领域的应用，并促进数据安全和隐私保护。

📄 摘要（原文）

Preserving data confidentiality during the fine-tuning of open-source Large Language Models (LLMs) is crucial for sensitive applications. This work introduces an interactive protocol adapting the Low-Rank Adaptation (LoRA) technique for private fine-tuning. Homomorphic Encryption (HE) protects the confidentiality of training data and gradients handled by remote worker nodes performing the bulk of computations involving the base model weights. The data owner orchestrates training, requiring minimal local computing power and memory, thus alleviating the need for expensive client-side GPUs. We demonstrate feasibility by fine-tuning a Llama-3.2-1B model, presenting convergence results using HE-compatible quantization and performance benchmarks for HE computations on GPU hardware. This approach enables applications such as confidential knowledge base question answering, private codebase fine-tuning for AI code assistants, AI agents for drafting emails based on a company's email archive, and adapting models to analyze sensitive legal or healthcare documents.