Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning

📄 arXiv: 2610.22792v1 📥 PDF

作者: Mohamed Shaaban, Mohamed Elmahallawy

分类: cs.CL, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出JEPA-Prune以解决大语言模型中的隐私数据泄露问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 神经元剪枝 大型语言模型 微调 数据泄露

📋 核心要点

  1. 现有方法在微调大型语言模型时面临隐私泄露和实用性保持的双重挑战，导致性能下降。
  2. 本文提出JEPA-Prune，通过在无PII视图上训练的模型指导剪枝，解决隐私神经元识别问题。
  3. 实验结果显示，剪枝1.6%神经元可显著降低PII推断和提取性能，同时保持模型性能稳定。

📝 摘要（中文）

对大型语言模型（LLMs）进行微调以适应特定领域时，面临两个主要挑战：一是私有数据的隐私泄露，二是如何在去除私有数据的同时保持模型的实用性。现有的防御措施如数据清洗和差分隐私往往会降低模型性能，而隐私神经元编辑缺乏无PII参考来区分特定身份的神经元与支持有用文本的神经元。本文提出了JEPA-Prune，一个后处理神经元剪枝框架，通过一个仅在无PII视图上训练的模型进行指导。JEPA-Prune与微调后的私有模型一起，训练一个公共模型，使用联合嵌入预测架构（JEPA）对相同记录的替代和掩蔽视图进行建模，从而捕获领域知识而不包含标识符。实验表明，仅剪枝1.6%的神经元即可将PII推断准确率降低最多7.4倍，PII提取召回率降低最多13.9倍，同时保持未见文本的困惑度在未剪枝模型的16%以内。

🔬 方法详解

问题定义：本文旨在解决在微调大型语言模型时，私有数据泄露的问题。现有方法如数据清洗和差分隐私往往会导致模型性能下降，而隐私神经元编辑缺乏有效的无PII参考来识别有用神经元与泄露信息相关的神经元。

核心思路：JEPA-Prune的核心思路是通过一个仅在无PII视图上训练的公共模型，来指导私有模型的神经元剪枝，从而有效识别和去除与PII相关的神经元，同时保持模型的实用性。

技术框架：JEPA-Prune的整体架构包括两个主要模块：一个是微调后的私有模型，另一个是基于联合嵌入预测架构（JEPA）训练的公共模型。公共模型使用替代和掩蔽视图进行训练，以捕获领域知识。

关键创新：JEPA-Prune的主要创新在于通过无PII参考模型来指导神经元剪枝，这一方法与传统的隐私神经元编辑方法本质上不同，后者往往依赖于有PII的训练数据。

关键设计：在JEPA-Prune中，使用集成梯度和尺度不变特异性评分来识别PII响应神经元，并在不重新训练的情况下进行剪枝。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，仅剪枝1.6%的神经元即可将PII推断准确率降低最多7.4倍，PII提取召回率降低最多13.9倍，而未见文本的困惑度保持在未剪枝模型的16%以内，显示出JEPA-Prune的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和社交媒体等需要保护用户隐私的场景。JEPA-Prune能够有效减少私有数据泄露风险，同时保持模型的实用性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine-tuning large language models (LLMs) on proprietary records enables domain adaptation but introduces two challenges: (i) privacy leakage of memorized private data, such as personally identifiable information (PII), and (ii) balancing private data removal with utility preservation. Existing defenses, including data sanitization and differential privacy, often degrade performance, while privacy-neuron editing lacks a PII-free reference to distinguish identity-specific neurons from those supporting useful text. We propose JEPA-Prune, a post-hoc neuron pruning framework guided by a model trained exclusively on PII-free views. Alongside the fine-tuned private model, JEPA-Prune, trains a public model on surrogate and masked views of the same records using a joint-embedding predictive architecture (JEPA), capturing domain knowledge without identifiers. A cross-model representation probe quantifies deviations between private representations of leaked records and this PII-free reference. Integrated gradients and a scale-invariant specificity score then identify PII-responsive neurons, which are pruned without retraining. Experiments show that pruning just 1.6% of neurons reduces PII inference accuracy by up to 7.4x and PII extraction recall by up to 13.9x, while keeping unseen-text perplexity within 16% of that of the unpruned model for most LLMs. In contrast, privacy-neuron editing increases perplexity by at least 26x.