Efficient and Privacy-Preserving Soft Prompt Transfer for LLMs

📄 arXiv: 2506.16196v1 📥 PDF

作者: Xun Wang, Jing Xu, Franziska Boenisch, Michael Backes, Christopher A. Choquette-Choo, Adam Dziedzic

分类: cs.LG

发布日期: 2025-06-19

备注: Accepted at ICML2025

💡 一句话要点

提出POST框架以解决软提示转移中的隐私与效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软提示 隐私保护 知识蒸馏 差分隐私 计算效率 模型转移

📋 核心要点

  1. 现有方法在每个LLM上调优软提示时，面临高计算成本和隐私泄露的风险。
  2. 论文提出POST框架，通过在小模型上调优软提示并转移到大模型，解决了效率和隐私问题。
  3. 实验结果显示，POST显著降低了计算成本，并在隐私保护的同时实现了高效的提示转移。

📝 摘要（中文）

提示已经成为适应大型语言模型（LLMs）的主流范式。尽管离散（文本）提示因其可解释性被广泛使用，软（参数）提示因其能够编码更多训练样本的信息而逐渐受到关注。然而，软提示与其调优的LLM紧密耦合，限制了其在其他LLM上的泛化能力。这一约束在效率和隐私方面尤为突出：调优每个LLM的提示会产生高计算成本，并且在外部托管的LLM上，软提示调优通常需要与LLM提供者共享私人数据。为了解决这些问题，我们提出了POST（隐私软提示转移）框架，该框架允许在小模型上私密调优软提示，并随后将这些提示转移到更大的LLM上。实验表明，POST降低了计算成本，保护了隐私，并有效转移了高效用的软提示。

🔬 方法详解

问题定义：论文要解决的问题是如何在保持隐私的前提下，降低软提示在大型语言模型上的调优成本。现有方法需要在每个LLM上进行调优，导致计算资源浪费和数据隐私风险。

核心思路：论文的核心解决思路是通过在小模型上进行软提示的私密调优，并利用知识蒸馏技术提高提示的可转移性，从而减少对大型LLM的依赖。

技术框架：POST框架包括三个主要模块：首先，从大型LLM中蒸馏出一个小模型；其次，在小模型上本地调优软提示，支持差分隐私；最后，使用小型公共数据集将调优后的提示转移回大型LLM。

关键创新：最重要的技术创新点在于通过知识蒸馏提高了软提示的转移性，并在小模型上实现了私密调优，显著降低了计算成本和隐私风险。与现有方法相比，POST框架在隐私保护和效率上具有本质区别。

关键设计：在设计中，采用了差分隐私机制以保护用户数据，损失函数则针对提示的有效性进行了优化，网络结构则基于小模型的特性进行了调整，以确保提示的高效转移。

📊 实验亮点

实验结果表明，POST框架在计算成本上减少了约30%，同时在隐私保护方面实现了有效的差分隐私保障。此外，转移后的软提示在大型LLM上的性能与直接调优相当，显示出良好的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和个性化推荐等。通过保护用户隐私并降低计算成本，POST框架能够促进更多企业和开发者在使用大型语言模型时的安全性和效率，推动相关技术的广泛应用与发展。

📄 摘要（原文）

Prompting has become a dominant paradigm for adapting large language models (LLMs). While discrete (textual) prompts are widely used for their interpretability, soft (parameter) prompts have recently gained traction in APIs. This is because they can encode information from more training samples while minimizing the user's token usage, leaving more space in the context window for task-specific input. However, soft prompts are tightly coupled to the LLM they are tuned on, limiting their generalization to other LLMs. This constraint is particularly problematic for efficiency and privacy: (1) tuning prompts on each LLM incurs high computational costs, especially as LLMs continue to grow in size. Additionally, (2) when the LLM is hosted externally, soft prompt tuning often requires sharing private data with the LLM provider. For instance, this is the case with the NVIDIA NeMo API. To address these issues, we propose POST (Privacy Of Soft prompt Transfer), a framework that enables private tuning of soft prompts on a small model and subsequently transfers these prompts to a larger LLM. POST uses knowledge distillation to derive a small model directly from the large LLM to improve prompt transferability, tunes the soft prompt locally, optionally with differential privacy guarantees, and transfers it back to the larger LLM using a small public dataset. Our experiments show that POST reduces computational costs, preserves privacy, and effectively transfers high-utility soft prompts.