Data Poisoning Vulnerabilities Across Healthcare AI Architectures: A Security Threat Analysis
作者: Farhad Abtahi, Fernando Seoane, Iván Pau, Mario Vega-Barbas
分类: cs.CR, cs.AI
发布日期: 2025-11-14
期刊: J Med Internet Res 2026
DOI: 10.2196/87969
💡 一句话要点
揭示医疗AI架构中的数据投毒漏洞，分析多种攻击场景与防御挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据投毒 医疗AI 对抗攻击 联邦学习 供应链安全 隐私保护 安全漏洞
📋 核心要点
- 现有医疗AI系统面临严重的数据投毒威胁，但当前的防御机制和监管措施存在明显不足，无法有效应对。
- 通过分析多种攻击场景，揭示了攻击者利用少量样本即可成功破坏医疗AI系统的脆弱性，并探讨了攻击的潜在途径。
- 研究强调了医疗AI供应链的安全风险，并建议采用多层防御策略，包括对抗测试、集成检测和隐私保护机制。
📝 摘要（中文）
本研究分析了医疗AI系统面临的严重数据投毒漏洞，现有防御措施和法规未能充分解决这些问题。我们分析了八种攻击场景，分为四类：针对卷积神经网络、大型语言模型和强化学习代理的架构攻击；利用联邦学习和医疗文档系统的基础设施攻击；影响器官移植和危机分诊的关键资源分配攻击；以及针对商业基础模型的供应链攻击。研究表明，攻击者只需访问100-500个样本即可破坏医疗AI，成功率通常超过60%，检测时间估计为6-12个月，有时甚至无法检测到。医疗基础设施的分布式特性创造了许多入口点，内部人员只需有限的技术技能即可发起攻击。HIPAA和GDPR等隐私法可能会无意中保护攻击者，限制检测所需的分析。供应链的薄弱环节使单个受损供应商能够毒害50到200家机构的模型。医疗抄写员Sybil攻击表明，协调的虚假患者就诊可以通过合法的临床工作流程来毒害数据，而无需系统漏洞。目前的法规缺乏强制性的对抗鲁棒性测试，联邦学习可能会因模糊归因而加剧风险。我们建议采用多层防御，包括所需的对抗测试、基于集成的检测、保护隐私的安全机制以及AI安全标准的国际协调。我们还质疑不透明的黑盒模型是否适合高风险的临床决策，建议转向具有可验证安全保证的可解释系统。
🔬 方法详解
问题定义：论文旨在解决医疗AI系统在面对数据投毒攻击时的脆弱性问题。现有方法在检测和防御此类攻击方面存在不足，尤其是在分布式医疗基础设施和复杂的供应链环境中，攻击者可以利用多种途径注入恶意数据，导致模型性能下降甚至产生错误决策。现有的隐私法规也可能限制对潜在攻击的分析和检测。
核心思路：论文的核心思路是通过分析不同类型的攻击场景，揭示医疗AI系统中的数据投毒漏洞，并提出相应的防御建议。研究强调了多层防御的重要性，包括在模型开发和部署的各个阶段进行对抗测试，采用集成检测方法来提高检测的准确性和鲁棒性，以及实施隐私保护的安全机制来平衡安全性和数据可用性。
技术框架：论文没有提出一个具体的算法框架，而是通过分析不同类型的攻击场景来评估现有医疗AI系统的安全性。这些场景包括： 1. 架构攻击：针对CNN、LLM和RL。 2. 基础设施攻击：利用联邦学习和医疗文档系统。 3. 关键资源分配攻击：影响器官移植和危机分诊。 4. 供应链攻击：针对商业基础模型。
论文还讨论了医疗抄写员Sybil攻击，即通过伪造患者就诊记录来毒害数据。
关键创新：论文的关键创新在于对医疗AI系统中的数据投毒漏洞进行了全面的分析，并提出了针对性的防御建议。研究强调了现有法规的不足之处，并呼吁加强对抗鲁棒性测试和国际协调。此外，论文还质疑了黑盒模型在关键医疗决策中的适用性，并建议转向可解释的系统。
关键设计：论文没有涉及具体的模型设计或参数设置，而是侧重于对攻击场景的分析和防御策略的提出。研究建议采用多层防御，包括对抗测试、集成检测和隐私保护机制。此外，论文还强调了可解释性和可验证安全保证的重要性。
📊 实验亮点
研究表明，攻击者只需100-500个样本即可成功破坏医疗AI系统，成功率超过60%，且检测时间长达6-12个月甚至无法检测。供应链攻击可能导致50-200家机构的模型被毒害。这些结果突显了医疗AI系统在面对数据投毒攻击时的脆弱性，并强调了加强安全防护的必要性。
🎯 应用场景
该研究成果可应用于提升医疗AI系统的安全性，例如用于开发更鲁棒的AI模型，设计更有效的防御机制，以及制定更完善的监管政策。通过降低数据投毒攻击的风险，可以提高医疗AI在疾病诊断、治疗方案推荐和资源分配等方面的可靠性和安全性，从而改善患者的医疗体验和治疗效果。
📄 摘要（原文）
Healthcare AI systems face major vulnerabilities to data poisoning that current defenses and regulations cannot adequately address. We analyzed eight attack scenarios in four categories: architectural attacks on convolutional neural networks, large language models, and reinforcement learning agents; infrastructure attacks exploiting federated learning and medical documentation systems; critical resource allocation attacks affecting organ transplantation and crisis triage; and supply chain attacks targeting commercial foundation models. Our findings indicate that attackers with access to only 100-500 samples can compromise healthcare AI regardless of dataset size, often achieving over 60 percent success, with detection taking an estimated 6 to 12 months or sometimes not occurring at all. The distributed nature of healthcare infrastructure creates many entry points where insiders with routine access can launch attacks with limited technical skill. Privacy laws such as HIPAA and GDPR can unintentionally shield attackers by restricting the analyses needed for detection. Supply chain weaknesses allow a single compromised vendor to poison models across 50 to 200 institutions. The Medical Scribe Sybil scenario shows how coordinated fake patient visits can poison data through legitimate clinical workflows without requiring a system breach. Current regulations lack mandatory adversarial robustness testing, and federated learning can worsen risks by obscuring attribution. We recommend multilayer defenses including required adversarial testing, ensemble-based detection, privacy-preserving security mechanisms, and international coordination on AI security standards. We also question whether opaque black-box models are suitable for high-stakes clinical decisions, suggesting a shift toward interpretable systems with verifiable safety guarantees.