DiDOTS: Knowledge Distillation from Large-Language-Models for Dementia Obfuscation in Transcribed Speech

📄 arXiv: 2410.04188v1 📥 PDF

作者: Dominika Woszczyk, Soteris Demetriou

分类: cs.CL, cs.CR

发布日期: 2024-10-05

备注: Accepted at PoPETS 25'

💡 一句话要点

提出DiDOTS，利用知识蒸馏和参数高效微调，对转录语音中的痴呆症信息进行混淆处理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 痴呆症 语音混淆 知识蒸馏 大型语言模型 参数高效微调 医疗隐私 自然语言处理

📋 核心要点

  1. 现有痴呆症分类技术可能泄露患者隐私，而针对痴呆症的文本混淆方法研究不足，且依赖大量标注数据。
  2. 论文提出DiDOTS，利用大型语言模型（LLM）的知识蒸馏，通过教师-学生模式和参数高效微调，实现痴呆症信息的混淆。
  3. 实验表明，DiDOTS在隐私保护方面优于现有方法，并在保持文本效用方面表现出色，同时显著减少了参数量。

📝 摘要（中文）

痴呆症是一种敏感的神经认知障碍，影响着全球数千万人，预计到2050年病例将增加两倍。令人担忧的是，痴呆症分类的最新进展使得攻击者有可能侵犯受影响者的隐私，并从语音转录中推断出他们的敏感状况。现有的文本混淆方法从未应用于痴呆症，并且依赖于大型标记数据集的可用性，而这些数据集对于敏感的医疗属性来说很难收集。在这项工作中，我们弥合了这一研究差距，并通过利用具有不同提示设计（零样本、少样本和基于知识）的大型语言模型（LLM）来混淆语音转录中的痴呆症，从而解决上述问题。我们的评估表明，与竞争方法相比，LLM是更有效的痴呆症混淆器。然而，它们拥有数十亿个参数，这使得它们难以训练、存储和共享，而且它们也很脆弱，容易受到幻觉、拒绝和矛盾等影响。为了进一步缓解这些问题，我们提出了一种新方法DiDOTS。DiDOTS使用教师-学生范式和参数高效微调从LLM中提取知识。与它的教师LLM相比，DiDOTS的参数少一个数量级，并且可以使用比完全微调少三个数量级的参数进行微调。我们的评估表明，与之前的工作相比，DiDOTS保留了LLM的性能，在两个数据集上的隐私性能提高了1.3倍和2.2倍，而且即使与最先进的释义模型相比，人类也认为它在保持效用方面更好。

🔬 方法详解

问题定义：论文旨在解决语音转录文本中痴呆症信息的隐私泄露问题。现有方法要么依赖大量标注数据，而敏感医疗数据的标注成本高昂；要么直接应用通用文本混淆方法，效果不佳。大型语言模型虽然表现出一定的混淆能力，但参数量巨大，难以训练和部署，且存在幻觉等问题。

核心思路：论文的核心思路是利用知识蒸馏技术，将大型语言模型（LLM）的知识迁移到小型模型上，从而在保证混淆效果的同时，降低模型复杂度和计算成本。通过参数高效微调，进一步减少训练所需的资源。

技术框架：DiDOTS采用教师-学生框架。首先，使用不同prompt策略（零样本、少样本、知识驱动）训练大型语言模型作为教师模型。然后，利用教师模型的输出来训练小型学生模型。学生模型的训练采用参数高效微调技术，只更新少量参数，从而降低计算成本。

关键创新：DiDOTS的关键创新在于将知识蒸馏和参数高效微调相结合，应用于痴呆症信息的混淆任务。这使得在资源有限的情况下，也能获得接近大型语言模型的混淆效果。此外，论文还探索了不同的prompt策略对LLM混淆效果的影响。

关键设计：论文使用了Transformer架构作为学生模型。参数高效微调采用Adapter模块，只在Transformer层中插入少量可训练的Adapter层。损失函数包括交叉熵损失和KL散度损失，其中交叉熵损失用于监督学生模型的输出，KL散度损失用于使学生模型的输出分布接近教师模型的输出分布。论文还比较了不同的prompt策略（零样本、少样本、知识驱动）对教师模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DiDOTS在两个数据集上的隐私性能分别提高了1.3倍和2.2倍，同时参数量比教师LLM少一个数量级，微调参数量减少三个数量级。人工评估表明，DiDOTS在保持文本效用方面优于最先进的释义模型，表明其在隐私保护和实用性之间取得了良好的平衡。

🎯 应用场景

该研究成果可应用于医疗隐私保护领域，例如在语音病历转录、在线医疗咨询等场景中，对患者的敏感信息进行混淆处理，防止未经授权的访问和滥用。该技术有助于平衡医疗数据共享和患者隐私保护之间的矛盾，促进医疗研究和临床应用的发展。

📄 摘要（原文）

Dementia is a sensitive neurocognitive disorder affecting tens of millions of people worldwide and its cases are expected to triple by 2050. Alarmingly, recent advancements in dementia classification make it possible for adversaries to violate affected individuals' privacy and infer their sensitive condition from speech transcriptions. Existing obfuscation methods in text have never been applied for dementia and depend on the availability of large labeled datasets which are challenging to collect for sensitive medical attributes. In this work, we bridge this research gap and tackle the above issues by leveraging Large-Language-Models (LLMs) with diverse prompt designs (zero-shot, few-shot, and knowledge-based) to obfuscate dementia in speech transcripts. Our evaluation shows that LLMs are more effective dementia obfuscators compared to competing methods. However, they have billions of parameters which renders them hard to train, store and share, and they are also fragile suffering from hallucination, refusal and contradiction effects among others. To further mitigate these, we propose a novel method, DiDOTS. DiDOTS distills knowledge from LLMs using a teacher-student paradigm and parameter-efficient fine-tuning. DiDOTS has one order of magnitude fewer parameters compared to its teacher LLM and can be fine-tuned using three orders of magnitude less parameters compared to full fine-tuning. Our evaluation shows that compared to prior work DiDOTS retains the performance of LLMs achieving 1.3x and 2.2x improvement in privacy performance on two datasets, while humans rate it as better in preserving utility even when compared to state-of-the-art paraphrasing models.