SpliTEE: Improving LLM Inference on Trusted Hardware with Differentially Private GPU Outsourcing

📄 arXiv: 2609.15039v1 📥 PDF

作者: Shashie Dilhara Batan Arachchige, Robin Carpentier, Hassan Jameel Asghar, Dali Kaafar

分类: cs.CR, cs.AI, cs.LG

发布日期: 2026-09-14

💡 一句话要点

提出SpliTEE以提高可信硬件上LLM推理的隐私保护能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 可信执行环境 大型语言模型 隐私保护 GPU推理 中间表示掩蔽 敏感信息安全

📋 核心要点

  1. 现有的LLM推理方法在保护用户隐私方面存在不足，尤其是在远程模型的使用中，可能会导致敏感信息泄露。
  2. 本文提出了一种基于差分隐私的分割推理架构，旨在通过在可信执行环境中执行LLM来保护用户提示，避免信息泄露。
  3. 实验结果表明，所提出的架构在速度上比完全基于CPU的推理快近两倍，并且在准确性上优于基于加密的Slalom方法。

📝 摘要（中文）

用户提供给大型语言模型（LLMs）的提示可能包含敏感信息，现有的远程模型可能会在重新训练过程中无意中记忆这些信息。为保护用户提示，本文提出在可信执行环境（TEE）中执行LLM，以确保服务提供者无法访问TEE内的计算和信息。当前的TEE主要基于CPU，速度远低于优化用于LLM推理的GPU。为此，本文扩展了Tramer和Boneh（2019）提出的Slalom架构，采用差分隐私保护中间输入。我们通过实验表明，掩蔽中间表示是必要的，并展示了提示重构攻击的有效性。本文的主要贡献是对关键LLM函数的全局敏感性分析，界定了所需的差分隐私噪声规模，并在Intel TDX上实现了该架构，评估了Llama-3.2-3B和Qwen3-4B两种LLM，结果显示我们的分割执行速度几乎是完全基于CPU推理的两倍，同时准确性更高。

🔬 方法详解

问题定义：本文旨在解决在远程部署的LLM中用户提示的隐私保护问题。现有方法主要依赖CPU的TEE，速度较慢且易受攻击。

核心思路：通过在TEE和不可信的GPU之间分割推理，并使用差分隐私保护中间输入，避免了传统加密方法的量化问题，保持了浮点数域的计算精度。

技术框架：整体架构包括三个主要模块：首先在TEE中处理输入提示，然后将中间表示发送到不可信的GPU进行推理，最后将结果返回并输出。

关键创新：本文的关键创新在于对LLM函数的全局敏感性分析，界定了差分隐私噪声的规模，并提出了一种新的保护机制，显著提高了推理速度和准确性。

关键设计：在设计中，设置了差分隐私参数epsilon，并分析了掩蔽和噪声消除对浮点误差的影响，确保了在保护隐私的同时保持了计算的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的SpliTEE架构在推理速度上比完全基于CPU的推理快近两倍，并且在与加密方法Slalom的比较中，速度提升达5-15秒，同时保持了更高的准确性，展示了其在隐私保护和性能上的优势。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和社交媒体等需要保护用户隐私的场景。通过在可信硬件上实现高效的LLM推理，能够有效防止敏感信息泄露，提升用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

User prompts provided to large language models (LLMs) may contain sensitive or private information that can be misused by remotely deployed models, such as through inadvertent memorization during retraining. One way to protect user prompts is to execute the LLM inside a trusted execution environment (TEE), with the guarantee that the service provider has no access to computations performed within or information exchanged with the TEE. However, current TEEs are primarily CPU-based and significantly slower than GPUs optimized for LLM inference. To circumvent this, Tramer and Boneh (2019) proposed Slalom, which splits neural network inference between a TEE and an untrusted GPU and encrypts intermediate inputs sent to the GPU. We extend this split-inference architecture to LLM inference and instead protect intermediate inputs using differential privacy. We show that masking intermediate representations is necessary by showing that a prompt-reconstruction attack can recover prompts from these representations with nearly 80% accuracy. Our main contribution is a global sensitivity analysis of key LLM functions, which bounds the required scale of differentially private noise. Unlike encryption, differential privacy avoids quantization, allowing the LLM to remain in the floating-point domain. We also derive an upper bound on floating-point error from masking and noise cancellation in the TEE as a function of the privacy parameter epsilon. We implement our architecture using Intel TDX and evaluate it with two LLMs: Llama-3.2-3B and Qwen3-4B. Our split execution is nearly twice as fast as fully CPU-based inference inside TDX and 5-15 seconds faster than encryption-based Slalom while achieving higher accuracy. Finally, we demonstrate that prompt reconstruction, even with knowledge of the differential privacy mechanism, cannot recover more information than is contained in an unrelated prompt.