Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
作者: Anran Li, Lingfei Qian, Mengmeng Du, Yu Yin, Yan Hu, Zihao Sun, Yihang Fu, Hyunjae Kim, Erica Stutz, Xuguang Ai, Qianqian Xie, Rui Zhu, Jimin Huang, Yifan Yang, Siru Liu, Yih-Chung Tham, Lucila Ohno-Machado, Hyunghoon Cho, Zhiyong Lu, Hua Xu, Qingyu Chen
分类: cs.CL, cs.AI
发布日期: 2025-09-10 (更新: 2026-01-25)
💡 一句话要点
研究表明医学大型语言模型存在显著记忆效应，可能影响其泛化性和安全性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 医学领域 记忆效应 泛化能力 隐私保护
📋 核心要点
- 医学LLM的记忆效应可能导致泄露患者隐私和降低模型泛化性，阻碍临床应用。
- 通过系统分析不同训练场景下的LLM记忆行为，揭示其普遍性、特征和影响。
- 实验表明医学LLM的记忆效应显著高于通用领域，且在微调后仍然保持较高水平。
📝 摘要（中文）
大型语言模型(LLMs)在医学领域展现出巨大潜力，许多研究通过在医学数据上持续预训练或微调来增强其领域特定准确性和安全性。然而，一个关键问题仍然存在：LLMs在多大程度上记忆了医学训练数据？记忆可能是有益的，因为它使LLMs能够在领域适应期间保留有价值的医学知识。然而，它也引发了担忧。LLMs可能会无意中重现敏感的临床内容（例如，患者特定细节），并且过度记忆可能会降低模型的泛化能力，增加误诊风险并提出不必要的建议。LLMs的生成特性进一步加剧了这些风险，这不仅会浮现记忆内容，还会产生过度自信、具有误导性的输出，这可能会阻碍临床应用。本文研究了LLMs在医学中的记忆，评估其普遍性（发生频率）、特征（记忆内容）、数量（记忆内容量）以及潜在的下游影响（记忆如何影响医学应用）。我们系统地分析了常见的适应场景：（1）在医学语料库上持续预训练，（2）在标准医学基准上微调，以及（3）在真实临床数据上微调，包括来自耶鲁纽黑文医疗系统的超过13,000条独特的住院患者记录。结果表明，记忆在所有适应场景中都很普遍，并且明显高于在一般领域中报告的记忆。此外，记忆在持续预训练和微调期间具有不同的特征，并且是持久的：在持续预训练期间记忆的内容中，高达87%在新的医学任务上进行微调后仍然存在。
🔬 方法详解
问题定义：论文旨在研究医学领域大型语言模型（LLMs）的记忆效应，即模型记住训练数据并可能在后续生成过程中复现这些数据的现象。现有方法缺乏对医学LLM记忆效应的系统性评估，忽略了其对模型泛化能力和患者隐私的潜在威胁。现有方法没有充分考虑不同训练方式（如持续预训练和微调）对记忆效应的影响，以及记忆内容在不同训练阶段的持久性。
核心思路：论文的核心思路是通过设计一系列实验，系统性地评估医学LLM在不同训练场景下的记忆行为。通过分析模型生成的文本，识别并量化模型记忆的训练数据片段。通过比较不同训练方式下的记忆特征，揭示记忆效应的内在机制。通过评估记忆内容在不同训练阶段的持久性，预测其对模型长期性能的影响。
技术框架：论文的技术框架主要包括以下几个阶段：1) 数据准备：收集医学语料库、标准医学基准数据集和真实临床数据（包括患者记录）。2) 模型训练：在不同数据集上对LLM进行持续预训练和微调。3) 记忆检测：设计算法检测模型生成的文本中是否包含训练数据的片段。4) 特征分析：分析记忆内容的特征，如类型、来源和敏感性。5) 持久性评估：评估记忆内容在不同训练阶段的保留程度。
关键创新：论文最重要的技术创新点在于对医学LLM记忆效应的系统性评估方法。该方法不仅能够量化记忆的程度，还能够分析记忆的特征和持久性。此外，论文还首次揭示了医学LLM的记忆效应显著高于通用领域，并指出了其对模型泛化能力和患者隐私的潜在威胁。
关键设计：论文的关键设计包括：1) 使用精确匹配和模糊匹配算法检测记忆内容。2) 设计指标量化记忆的程度，如记忆片段的数量和长度。3) 分析记忆内容的类型，如医学术语、患者姓名和诊断信息。4) 评估记忆内容在不同训练阶段的保留程度，如预训练阶段和微调阶段。
📊 实验亮点
实验结果表明，医学LLM在所有适应场景中都存在显著的记忆效应，且高于通用领域。在持续预训练期间记忆的内容中，高达87%在新的医学任务上进行微调后仍然存在。该研究还揭示了记忆在持续预训练和微调期间具有不同的特征，为后续研究提供了重要参考。
🎯 应用场景
该研究成果可应用于评估和改进医学LLM的安全性与可靠性，例如开发更有效的去隐私化技术，降低模型泄露患者信息的风险。同时，该研究有助于指导医学LLM的训练策略，避免过度记忆，提高模型的泛化能力，从而提升临床决策支持系统的准确性和安全性。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated significant potential in medicine, with many studies adapting them through continued pre-training or fine-tuning on medical data to enhance domain-specific accuracy and safety. However, a key open question remains: to what extent do LLMs memorize medical training data. Memorization can be beneficial when it enables LLMs to retain valuable medical knowledge during domain adaptation. Yet, it also raises concerns. LLMs may inadvertently reproduce sensitive clinical content (e.g., patient-specific details), and excessive memorization may reduce model generalizability, increasing risks of misdiagnosis and making unwarranted recommendations. These risks are further amplified by the generative nature of LLMs, which can not only surface memorized content but also produce overconfident, misleading outputs that may hinder clinical adoption. In this work, we present a study on memorization of LLMs in medicine, assessing its prevalence (how frequently it occurs), characteristics (what is memorized), volume (how much content is memorized), and potential downstream impacts (how memorization may affect medical applications). We systematically analyze common adaptation scenarios: (1) continued pretraining on medical corpora, (2) fine-tuning on standard medical benchmarks, and (3) fine-tuning on real-world clinical data, including over 13,000 unique inpatient records from Yale New Haven Health System. The results demonstrate that memorization is prevalent across all adaptation scenarios and significantly higher than that reported in the general domain. Moreover, memorization has distinct characteristics during continued pre-training and fine-tuning, and it is persistent: up to 87% of content memorized during continued pre-training remains after fine-tuning on new medical tasks.