Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?

📄 arXiv: 2609.40335v1 📥 PDF

作者: Razan El Mais, Ali Chehab, Ibrahim Issa, Razane Tajeddine

分类: cs.LG

发布日期: 2026-09-30

备注: Accepted at the 8th IEEE International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (IEEE TPS 2026). 12 pages (10 pages of main content), 1 figure, 13 tables

💡 一句话要点

探讨解码器仅模型在差分隐私下的权重绑定效益

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 随机梯度下降 语言模型 权重绑定 模型优化 内存效率 机器学习

📋 核心要点

  1. 现有的解码器仅LLMs在差分隐私训练下的权重绑定效益尚未被充分研究，导致潜在的性能损失。
  2. 本文通过对比GPT2和DistilGPT2模型，提出在差分隐私设置下使用未绑定嵌入，以提高模型的准确性和内存效率。
  3. 实验结果显示，未绑定模型在多个任务上准确率提升达4.74%，并且内存使用降低超过60%。

📝 摘要（中文）

差分隐私随机梯度下降（DP-SGD）是保护隐私的大型语言模型（LLMs）微调的主要方法。许多解码器仅LLMs采用输入和输出嵌入之间的权重绑定，这一设计最初是为了提高参数效率和语言建模性能。然而，在差分隐私训练下，权重绑定的影响仍然未被充分探索。本文研究了在DP环境下权重绑定的作用，发现未绑定嵌入在DP-SGD下的表现优于绑定模型，准确率在SST-2、QNLI和QQP上提升了4.74%。此外，未绑定嵌入还支持内存高效的ghost clipping，而权重绑定则引入了共享参数交互，复杂化了标准ghost norm计算，抵消了其计算优势。结果表明，未绑定嵌入为解码器仅LLMs的差分隐私训练提供了更有效和可扩展的设计。

🔬 方法详解

问题定义：本文旨在探讨在差分隐私训练下，解码器仅LLMs中权重绑定的效益。现有方法在隐私保护下可能导致性能下降，尤其是在共享参数交互的情况下。

核心思路：论文提出使用未绑定嵌入替代权重绑定，以提高模型的准确性和内存效率。通过消除共享参数交互，简化了计算过程，提升了模型的实用性。

技术框架：研究采用GPT2和DistilGPT2作为代表性架构，进行对比实验。主要模块包括模型架构设计、训练过程中的DP-SGD应用，以及ghost clipping的实现。

关键创新：最重要的创新在于发现未绑定嵌入在差分隐私训练下的优势，尤其是在准确性和内存使用方面的显著改善。这一发现挑战了传统的权重绑定设计理念。

关键设计：在实验中，采用了标准的损失函数和优化算法，同时调整了ghost clipping的实现方式，以适应未绑定嵌入的特性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，未绑定嵌入模型在SST-2、QNLI和QQP任务上准确率提升达4.74%，并且内存使用降低超过60%。这些结果强调了未绑定嵌入在差分隐私训练中的有效性和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、隐私保护的机器学习系统以及大规模语言模型的训练。通过优化模型设计，可以在保护用户隐私的同时，提升模型的性能和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Differentially Private Stochastic Gradient Descent (DP-SGD) is a leading approach for privacy-preserving fine-tuning of large language models (LLMs). Many decoder-only LLMs employ weight tying between input and output embeddings, a design choice originally introduced for parameter efficiency and improved language modeling performance in the non-private setting. However, the impact of weight tying under differentially private training remains largely unexplored. In this work, we investigate the role of weight tying in the DP setting using GPT2 and DistilGPT2 as representative decoder-only architectures. Interestingly, we find that untied embeddings consistently outperform weight-tied models under DP-SGD, achieving gains of up to 4.74% points in accuracy on SST-2, QNLI, and QQP. Beyond improved utility, untying embeddings enables the use of memory-efficient ghost clipping for DP-SGD. By contrast, weight tying introduces shared-parameter interactions that complicate standard ghost norm computation and largely negate its computational advantages. As a result, untied models achieve over 60% lower memory usage while preserving the benefits of ghost clipping. Our results indicate that untied embeddings provide a more effective and scalable design for differentially private training of decoder-only LLMs and highlight the need to revisit standard LLM architectural choices in the privacy-preserving setting.