CoDA: Exploring Chain-of-Distribution Attacks and Post-Hoc Token-Space Repair for Medical Vision-Language Models
作者: Xiang Chen, Fangfang Yang, Chunlei Meng, Chengyin Hu, Ang Li, Yiwei Wei, Jiahuan Long, Jiujiang Guo
分类: cs.CV, cs.AI
发布日期: 2026-03-19
💡 一句话要点
提出CoDA框架，评估并提升医学视觉-语言模型在临床流程中的鲁棒性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学视觉-语言模型 鲁棒性评估 数据分布偏移 临床流程模拟 后验修复
📋 核心要点
- 现有医学视觉-语言模型鲁棒性评估忽略了临床流程中常见的图像统计信息偏移。
- CoDA框架通过模拟临床图像处理流程中的各种降级，构建更真实的攻击场景。
- 实验表明CoDA能有效降低模型性能，并提出token空间修复策略以提升模型鲁棒性。
📝 摘要（中文）
医学视觉-语言模型(MVLMs)越来越多地应用于放射学流程中作为感知骨干，以及多模态助手的视觉前端。然而，它们在真实临床工作流程下的可靠性仍未被充分探索。以往的鲁棒性评估通常假设输入是干净、经过整理的，或者研究孤立的损坏，忽略了常规的采集、重建、显示和传输操作，这些操作在保持临床可读性的同时改变了图像统计信息。为了解决这一差距，我们提出了CoDA，一个链式分布框架，通过组合类似采集的阴影、重建和显示重映射以及传输和导出降级来构建临床上合理的流程偏移。在掩蔽结构相似性约束下，CoDA联合优化阶段组合和参数，以诱导失败，同时保持视觉合理性。在脑部MRI、胸部X光和腹部CT上，CoDA显著降低了CLIP风格MVLM的零样本性能，并且链式组合始终比任何单个阶段更具破坏性。我们还评估了多模态大型语言模型(MLLM)作为图像真实性和质量的技术真实性审计员，而不是病理学。专有的多模态模型在CoDA偏移样本上表现出审计可靠性下降和持续的高置信度错误，而我们测试的医学专用MLLM在医学图像质量审计方面表现出明显的缺陷。最后，我们引入了一种基于教师引导的token空间自适应和patch级对齐的后验修复策略，该策略提高了存档CoDA输出的准确性。总的来说，我们的发现描述了MVLM部署的临床威胁面，并表明轻量级对齐可以提高部署中的鲁棒性。
🔬 方法详解
问题定义：医学视觉-语言模型(MVLMs)在临床应用中面临真实世界数据分布偏移的挑战。现有鲁棒性评估方法通常关注孤立的图像损坏或假设干净的输入，忽略了临床流程中常见的图像采集、重建、显示和传输等环节引入的统计信息变化。这些变化虽然保持了临床可读性，但可能显著影响MVLMs的性能。
核心思路：CoDA的核心思路是通过模拟临床图像处理流程中的各种降级操作，构建一个链式分布偏移框架。该框架旨在生成临床上合理但具有挑战性的图像，用于评估和提升MVLMs在真实临床环境中的鲁棒性。通过联合优化不同阶段的组合和参数，CoDA能够诱导模型失败，同时保持图像的视觉合理性。
技术框架：CoDA框架包含以下主要阶段：1) 采集模拟：模拟图像采集过程中的阴影等伪影；2) 重建和显示重映射：模拟图像重建和显示过程中的对比度、亮度等调整；3) 传输和导出降级：模拟图像传输和导出过程中的压缩、格式转换等操作。这些阶段可以链式组合，形成复杂的分布偏移。框架还包括一个掩蔽结构相似性约束，用于保证生成图像的视觉合理性。
关键创新：CoDA的关键创新在于其链式分布偏移的构建方式，能够更真实地模拟临床图像处理流程中的数据分布变化。与以往关注孤立损坏的方法相比，CoDA能够生成更具挑战性的攻击样本，从而更有效地评估MVLMs的鲁棒性。此外，论文还提出了基于教师引导的token空间自适应和patch级对齐的后验修复策略，用于提升模型在CoDA攻击下的性能。
关键设计：CoDA使用掩蔽结构相似性(Masked SSIM)作为约束，以保证生成图像的视觉合理性。具体来说，SSIM损失只计算在非掩蔽区域，从而允许在不影响关键结构信息的情况下引入细微的图像变化。后验修复策略采用教师模型(teacher model)引导学生模型(student model)进行token空间自适应，通过最小化学生模型和教师模型在token空间的差异来提升学生模型的性能。Patch级对齐则通过对齐学生模型和教师模型在图像patch级别的特征表示，进一步提升了修复效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoDA框架能够显著降低CLIP风格MVLM在脑部MRI、胸部X光和腹部CT图像上的零样本性能。链式组合攻击比任何单个阶段的攻击更具破坏性。后验修复策略能够有效提升模型在CoDA攻击下的性能，验证了该策略的有效性。
🎯 应用场景
该研究成果可应用于医学影像辅助诊断系统的安全性评估和鲁棒性提升。通过CoDA框架，可以系统性地评估MVLMs在各种临床场景下的性能，并针对性地进行模型优化和改进，从而提高临床决策的可靠性和安全性。此外，该研究也为医学图像质量评估和图像增强算法的设计提供了新的思路。
📄 摘要（原文）
Medical vision--language models (MVLMs) are increasingly used as perceptual backbones in radiology pipelines and as the visual front end of multimodal assistants, yet their reliability under real clinical workflows remains underexplored. Prior robustness evaluations often assume clean, curated inputs or study isolated corruptions, overlooking routine acquisition, reconstruction, display, and delivery operations that preserve clinical readability while shifting image statistics. To address this gap, we propose CoDA, a chain-of-distribution framework that constructs clinically plausible pipeline shifts by composing acquisition-like shading, reconstruction and display remapping, and delivery and export degradations. Under masked structural-similarity constraints, CoDA jointly optimizes stage compositions and parameters to induce failures while preserving visual plausibility. Across brain MRI, chest X-ray, and abdominal CT, CoDA substantially degrades the zero-shot performance of CLIP-style MVLMs, with chained compositions consistently more damaging than any single stage. We also evaluate multimodal large language models (MLLMs) as technical-authenticity auditors of imaging realism and quality rather than pathology. Proprietary multimodal models show degraded auditing reliability and persistent high-confidence errors on CoDA-shifted samples, while the medical-specific MLLMs we test exhibit clear deficiencies in medical image quality auditing. Finally, we introduce a post-hoc repair strategy based on teacher-guided token-space adaptation with patch-level alignment, which improves accuracy on archived CoDA outputs. Overall, our findings characterize a clinically grounded threat surface for MVLM deployment and show that lightweight alignment improves robustness in deployment.