Robust Privacy Amidst Innovation with Large Language Models Through a Critical Assessment of the Risks

📄 arXiv: 2407.16166v2 📥 PDF

作者: Yao-Shun Chuang, Atiquer Rahman Sarkar, Yu-Chun Hsu, Noman Mohammed, Xiaoqian Jiang

分类: cs.CL

发布日期: 2024-07-23 (更新: 2024-09-16)

备注: 13 pages, 4 figures, 1 table, 1 supplementary, under review

期刊: Journal of the American Medical Informatics Association, Volume 32, Issue 5, May 2025, Pages 885-892

DOI: 10.1093/jamia/ocaf037

💡 一句话要点

通过风险评估，利用大语言模型在创新中实现稳健的隐私保护

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 合成数据生成 隐私保护 电子健康记录 关键词提取

📋 核心要点

  1. 现有方法在利用大型语言模型生成合成医疗数据时，难以在数据效用和患者隐私保护之间取得平衡，存在PHI泄露风险。
  2. 本研究提出一种基于关键词提取和模板的合成数据生成方法，旨在降低PHI泄露风险，同时保持生成数据的临床效用。
  3. 实验结果表明，基于关键词的方法在PHI泄露风险控制和数据效用（ICD-9编码任务）方面表现良好，优于一次性生成方法。

📝 摘要（中文）

本研究探讨了将电子健康记录（EHRs）和自然语言处理（NLP）与大型语言模型（LLMs）集成，以改进医疗数据管理和患者护理。研究重点在于使用先进模型创建安全、符合HIPAA标准的合成患者病历，用于生物医学研究。研究使用去标识化和重新标识化的MIMIC III数据集，结合GPT-3.5、GPT-4和Mistral 7B生成合成病历。文本生成采用模板和关键词提取方法，以生成上下文相关的病历，并使用一次性生成（one-shot generation）进行比较。隐私评估检查了PHI（受保护健康信息）的出现情况，而文本效用则通过ICD-9编码任务进行测试。文本质量通过ROUGE和余弦相似度指标进行评估，以测量与源病历的语义相似性。PHI出现情况和通过ICD-9编码任务评估的文本效用分析表明，基于关键词的方法风险较低且性能良好。一次性生成显示出最高的PHI暴露和PHI共现，尤其是在地理位置和日期类别中。归一化的一次性方法实现了最高的分类准确率。隐私分析揭示了数据效用和隐私保护之间的关键平衡，影响着未来的数据使用和共享。重新标识的数据始终优于去标识的数据。本研究证明了基于关键词的方法在生成保护隐私的合成临床病历方面的有效性，这些病历保留了数据的可用性，有可能改变临床数据共享实践。重新标识的数据优于去标识的数据，表明了一种趋势，即通过使用虚拟PHI来迷惑隐私攻击，从而增强效用和隐私。

🔬 方法详解

问题定义：论文旨在解决利用大型语言模型生成合成临床病历时，如何在保护患者隐私（避免PHI泄露）的同时，保证生成数据的临床实用性（例如，用于ICD-9编码等下游任务）。现有方法，如直接使用LLM生成，容易暴露PHI，而完全去标识化可能导致数据信息丢失，影响下游任务的性能。

核心思路：论文的核心思路是采用一种基于关键词提取和模板的生成方法，通过限制LLM的生成范围，降低PHI泄露的风险。同时，通过关键词提取保证生成内容与原始病历的上下文相关性，从而维持数据的临床效用。此外，论文还探索了使用重新标识的数据（使用虚拟PHI）来迷惑隐私攻击的可能性。

技术框架：整体流程包括以下几个阶段：1) 数据预处理：对MIMIC III数据集进行去标识化和重新标识化处理。2) 关键词提取：从原始病历中提取关键词，用于指导LLM生成。3) 模板构建：构建基于关键词的文本生成模板。4) 文本生成：使用GPT-3.5、GPT-4和Mistral 7B等LLM，根据关键词和模板生成合成病历。5) 隐私评估：评估生成病历中PHI的出现情况。6) 效用评估：使用ICD-9编码任务评估生成数据的临床效用。7) 质量评估：使用ROUGE和余弦相似度评估生成文本的质量。

关键创新：最重要的技术创新点在于结合关键词提取和模板的生成方法，这种方法在控制PHI泄露风险和保持数据效用之间取得了较好的平衡。与直接使用LLM生成相比，该方法能够更有效地控制生成内容的范围，降低PHI泄露的风险。此外，探索使用重新标识的数据也是一个创新点，旨在通过虚拟PHI迷惑隐私攻击，提高数据的整体安全性。

关键设计：关键词提取方法（具体算法未知，论文中未详细描述）。文本生成模板的设计，需要根据临床病历的特点进行定制。隐私评估指标，例如PHI的出现频率和共现情况。效用评估任务的选择，例如ICD-9编码任务，需要与临床应用场景相关。实验中使用了GPT-3.5、GPT-4和Mistral 7B等不同的LLM，并比较了它们在隐私保护和数据效用方面的表现。

📊 实验亮点

实验结果表明，基于关键词的方法在生成合成临床病历时，能够有效降低PHI泄露风险，同时保持数据的临床效用。与一次性生成方法相比，基于关键词的方法在PHI暴露和PHI共现方面表现更优。重新标识的数据在分类准确率上优于去标识的数据，表明使用虚拟PHI可以提高数据效用和隐私保护。

🎯 应用场景

该研究成果可应用于医疗数据共享、生物医学研究等领域。通过生成既保护患者隐私又具有临床效用的合成数据，可以促进医疗数据的安全共享，加速疾病诊断、治疗方案优化等方面的研究进展。未来，该方法有望推广到其他敏感数据领域，例如金融、教育等。

📄 摘要（原文）

This study examines integrating EHRs and NLP with large language models (LLMs) to improve healthcare data management and patient care. It focuses on using advanced models to create secure, HIPAA-compliant synthetic patient notes for biomedical research. The study used de-identified and re-identified MIMIC III datasets with GPT-3.5, GPT-4, and Mistral 7B to generate synthetic notes. Text generation employed templates and keyword extraction for contextually relevant notes, with one-shot generation for comparison. Privacy assessment checked PHI occurrence, while text utility was tested using an ICD-9 coding task. Text quality was evaluated with ROUGE and cosine similarity metrics to measure semantic similarity with source notes. Analysis of PHI occurrence and text utility via the ICD-9 coding task showed that the keyword-based method had low risk and good performance. One-shot generation showed the highest PHI exposure and PHI co-occurrence, especially in geographic location and date categories. The Normalized One-shot method achieved the highest classification accuracy. Privacy analysis revealed a critical balance between data utility and privacy protection, influencing future data use and sharing. Re-identified data consistently outperformed de-identified data. This study demonstrates the effectiveness of keyword-based methods in generating privacy-protecting synthetic clinical notes that retain data usability, potentially transforming clinical data-sharing practices. The superior performance of re-identified over de-identified data suggests a shift towards methods that enhance utility and privacy by using dummy PHIs to perplex privacy attacks.