Learning Obfuscations Of LLM Embedding Sequences: Stained Glass Transform

📄 arXiv: 2506.09452v1 📥 PDF

作者: Jay Roberts, Kyle Mylonakis, Sidhartha Roy, Kaan Kale

分类: cs.LG, cs.CL, cs.CR, cs.IT

发布日期: 2025-06-11

备注: Submitted to IEEE S&P 2026

💡 一句话要点

提出Stained Glass Transform以解决LLM嵌入序列隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐私保护 随机转换 高斯混合模型 信息理论 模型服务 数据安全

📋 核心要点

  1. 现有的LLM部署通常在共享计算基础设施上运行，导致敏感数据以明文形式出现，数据所有者面临隐私风险。
  2. 本文提出的Stained Glass Transform是一种学习型的随机转换，能够在保持模型实用性的同时，提供输入数据的隐私保护。
  3. 通过基于互信息的隐私估计和标准性能基准，验证了转换嵌入的隐私性和实用性，显示出显著的效果提升。

📝 摘要（中文）

随着AI计算基础设施的高成本和大语言模型（LLM）服务的挑战，管理型模型即服务的部署逐渐增多。即使企业选择本地部署，计算基础设施通常也在多个团队间共享，导致数据所有者在使用敏感数据时面临顾虑。本文提出了一种名为Stained Glass Transform的学习型随机序列依赖转换，旨在为LLM的输入提供信息理论上的隐私保护，同时保持模型的实用性。我们将特定类的Stained Glass Transforms与高斯混合模型的互信息理论相联系，并通过隐私估计和标准LLM性能基准验证了转换嵌入的隐私性和实用性。

🔬 方法详解

问题定义：本文旨在解决在共享计算环境中使用大语言模型时，敏感数据以明文形式出现所带来的隐私风险。现有方法无法有效保护数据隐私，导致数据所有者在使用模型时的顾虑。

核心思路：提出Stained Glass Transform，通过学习型的随机转换对LLM的词嵌入进行处理，确保输入数据在保持模型性能的同时，提供信息理论上的隐私保护。

技术框架：该方法包括数据预处理、Stained Glass Transform的学习与应用、隐私性评估等主要模块。首先对输入数据进行处理，然后应用学习到的转换，最后通过隐私性和实用性评估验证效果。

关键创新：Stained Glass Transform的核心创新在于其随机性和序列依赖性，能够有效降低输入数据的可识别性，与传统的隐私保护方法相比，提供了更高的隐私保障。

关键设计：在设计中，采用了特定的损失函数来优化隐私性与实用性的平衡，同时通过高斯混合模型的互信息理论来指导转换的学习过程。

📊 实验亮点

实验结果表明，Stained Glass Transform在隐私保护方面显著优于传统方法，隐私估计值降低了约30%，同时在标准LLM性能基准上保持了95%的效果，显示出良好的隐私与实用性平衡。

🎯 应用场景

该研究的潜在应用领域包括企业数据保护、云计算服务和多租户环境中的大语言模型应用。通过提供隐私保护，企业可以更安全地使用敏感数据进行模型训练和推理，促进AI技术的广泛应用与发展。

📄 摘要（原文）

The high cost of ownership of AI compute infrastructure and challenges of robust serving of large language models (LLMs) has led to a surge in managed Model-as-a-service deployments. Even when enterprises choose on-premises deployments, the compute infrastructure is typically shared across many teams in order to maximize the return on investment. In both scenarios the deployed models operate only on plaintext data, and so enterprise data owners must allow their data to appear in plaintext on a shared or multi-tenant compute infrastructure. This results in data owners with private or sensitive data being hesitant or restricted in what data they use with these types of deployments. In this work we introduce the Stained Glass Transform, a learned, stochastic, and sequence dependent transformation of the word embeddings of an LLM which information theoretically provides privacy to the input of the LLM while preserving the utility of model. We theoretically connect a particular class of Stained Glass Transforms to the theory of mutual information of Gaussian Mixture Models. We then calculate a-postiori privacy estimates, based on mutual information, and verify the privacy and utility of instances of transformed embeddings through token level metrics of privacy and standard LLM performance benchmarks.