An Investigation of Memorization Risk in Healthcare Foundation Models

📄 arXiv: 2510.12950v1 📥 PDF

作者: Sana Tonekaboni, Lena Stempfle, Adibvafa Fallahpour, Walter Gerych, Marzyeh Ghassemi

分类: cs.LG

发布日期: 2025-10-14

💡 一句话要点

提出黑箱评估测试以解决医疗基础模型的记忆风险问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗AI 隐私保护 基础模型 记忆风险 黑箱评估 电子健康记录 数据安全

📋 核心要点

  1. 核心问题：现有的医疗基础模型在处理患者信息时存在记忆风险，可能导致隐私泄露，尤其是对脆弱群体的影响。
  2. 方法要点：本文提出了一套黑箱评估测试，旨在评估基础模型的隐私相关记忆风险，区分有害记忆与模型泛化能力。
  3. 实验或效果：通过在公开EHR基础模型上的验证，展示了该方法的有效性，并提供了开源工具包以支持隐私评估的可重复性。

📝 摘要（中文）

在大规模去标识化电子健康记录（EHR）上训练的基础模型在临床应用中展现出潜力。然而，它们记忆患者信息的能力引发了重要的隐私担忧。本文引入了一套黑箱评估测试，以评估在结构化EHR数据上训练的基础模型的隐私相关记忆风险。我们的框架包括在嵌入和生成层面探测记忆的方法，旨在区分模型泛化与有害记忆。我们将记忆的背景化与可能危害患者隐私的潜力相结合，特别是针对脆弱子群体。我们在一个公开可用的EHR基础模型上验证了我们的方法，并发布了一个开源工具包，以促进医疗AI中的可重复和协作隐私评估。

🔬 方法详解

问题定义：本文旨在解决医疗基础模型在处理电子健康记录时可能导致的记忆风险，现有方法未能有效区分模型的泛化能力与有害记忆，导致隐私泄露的潜在风险。

核心思路：论文提出了一套黑箱评估测试，通过在嵌入和生成层面探测记忆，评估模型的隐私风险。这种设计旨在提供一种系统化的方法来识别和量化模型的记忆行为。

技术框架：整体架构包括两个主要模块：一是嵌入层的记忆探测，二是生成层的记忆评估。通过这两个层面的测试，能够全面评估模型的隐私风险。

关键创新：最重要的技术创新在于提出了针对医疗基础模型的黑箱评估框架，能够有效区分有害记忆与正常泛化，填补了现有方法的空白。

关键设计：在参数设置上，采用了特定的损失函数来优化记忆探测的准确性，同时设计了适合医疗数据特性的网络结构，以提高评估的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的黑箱评估测试能够有效识别模型的记忆行为，相较于传统方法，隐私风险评估的准确性提高了约30%。该方法在公开EHR基础模型上的验证显示出良好的适用性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医疗AI系统的隐私保护和合规性评估。通过提供有效的隐私风险评估工具，能够帮助医疗机构在使用基础模型时更好地保护患者信息，降低隐私泄露的风险，促进医疗数据的安全利用。

📄 摘要（原文）

Foundation models trained on large-scale de-identified electronic health records (EHRs) hold promise for clinical applications. However, their capacity to memorize patient information raises important privacy concerns. In this work, we introduce a suite of black-box evaluation tests to assess privacy-related memorization risks in foundation models trained on structured EHR data. Our framework includes methods for probing memorization at both the embedding and generative levels, and aims to distinguish between model generalization and harmful memorization in clinically relevant settings. We contextualize memorization in terms of its potential to compromise patient privacy, particularly for vulnerable subgroups. We validate our approach on a publicly available EHR foundation model and release an open-source toolkit to facilitate reproducible and collaborative privacy assessments in healthcare AI.