Distilling Human-Aligned Privacy Sensitivity Assessment from Large Language Models

📄 arXiv: 2603.29497v1 📥 PDF

作者: Gabriel Loiseau, Damien Sileo, Damien Riquet, Maxime Meyer, Marc Tommasi

分类: cs.CL

发布日期: 2026-03-31

备注: Accepted to the LREC CALD-pseudo 2026 Workshop

💡 一句话要点

通过知识蒸馏，从大语言模型中提取人类对齐的隐私敏感性评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私评估 知识蒸馏 大型语言模型 自然语言处理 隐私保护

📋 核心要点

  1. 现有方法难以兼顾隐私评估的准确性和效率，大型语言模型计算成本高昂，不适用于大规模敏感数据处理。
  2. 通过知识蒸馏，将大型语言模型（Mistral Large 3）的隐私评估能力迁移到轻量级编码器模型，降低计算成本。
  3. 实验表明，蒸馏后的模型在保持与人类标注高度一致性的同时，显著降低了计算需求，并可用于评估去标识化系统。

📝 摘要（中文）

在隐私保护自然语言处理中，对文本数据进行准确的隐私评估仍然是一个关键挑战。最近的研究表明，大型语言模型（LLM）可以作为可靠的隐私评估器，与人类判断达成高度一致；然而，它们的计算成本以及在规模化处理敏感数据方面的局限性限制了其在现实世界中的部署。为了解决这个问题，本文将Mistral Large 3 (675B)的隐私评估能力提炼到参数量低至150M的轻量级编码器模型中。通过利用一个包含10个不同领域的大规模隐私标注文本数据集，我们训练了高效的分类器，这些分类器在显著降低计算需求的同时，仍然与人类标注保持高度一致。我们在人工标注的测试数据上验证了该方法，并证明了其作为去标识化系统评估指标的实际效用。

🔬 方法详解

问题定义：论文旨在解决文本数据隐私评估中，现有方法准确性和效率难以兼顾的问题。大型语言模型（LLM）虽然能够提供较好的隐私评估结果，但其巨大的计算开销使其难以应用于大规模敏感数据的实际场景。因此，需要一种方法能够在保证隐私评估准确性的前提下，显著降低计算成本。

核心思路：论文的核心思路是通过知识蒸馏，将大型语言模型（Mistral Large 3）的隐私评估能力迁移到轻量级的编码器模型中。通过这种方式，可以在保持较高评估准确性的同时，大幅度降低模型的参数量和计算复杂度，使其更适用于实际应用。

技术框架：整体框架包括以下几个主要步骤：1) 构建大规模隐私标注数据集，涵盖多个领域；2) 使用大型语言模型（Mistral Large 3）对数据集进行隐私评估，作为“教师”模型；3) 训练轻量级编码器模型（参数量低至150M），使其模仿“教师”模型的评估结果，即进行知识蒸馏；4) 在人工标注的测试集上评估蒸馏后模型的性能。

关键创新：论文的关键创新在于成功地将大型语言模型的隐私评估能力提炼到轻量级模型中，实现了在计算效率和评估准确性之间的平衡。这种方法使得在资源受限的环境下进行大规模隐私评估成为可能。

关键设计：论文的关键设计包括：1) 构建了包含10个不同领域的大规模隐私标注数据集，保证了模型的泛化能力；2) 选择Mistral Large 3作为“教师”模型，利用其强大的语言理解能力提供高质量的隐私评估结果；3) 采用合适的蒸馏策略，使得轻量级模型能够有效地学习“教师”模型的知识；4) 通过实验验证了蒸馏后模型在不同领域的性能，并与现有方法进行了比较。

📊 实验亮点

实验结果表明，通过知识蒸馏得到的轻量级模型在保持与人类标注高度一致性的同时，显著降低了计算需求。该模型在人工标注的测试数据上表现良好，并被证明可以作为去标识化系统的有效评估指标。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可广泛应用于隐私保护自然语言处理领域，例如自动化隐私风险评估、去标识化系统评估、数据匿名化等。通过高效的隐私评估，可以更好地保护用户隐私，促进安全可靠的数据共享和利用，具有重要的实际价值和深远的社会影响。

📄 摘要（原文）

Accurate privacy evaluation of textual data remains a critical challenge in privacy-preserving natural language processing. Recent work has shown that large language models (LLMs) can serve as reliable privacy evaluators, achieving strong agreement with human judgments; however, their computational cost and impracticality for processing sensitive data at scale limit real-world deployment. We address this gap by distilling the privacy assessment capabilities of Mistral Large 3 (675B) into lightweight encoder models with as few as 150M parameters. Leveraging a large-scale dataset of privacy-annotated texts spanning 10 diverse domains, we train efficient classifiers that preserve strong agreement with human annotations while dramatically reducing computational requirements. We validate our approach on human-annotated test data and demonstrate its practical utility as an evaluation metric for de-identification systems.