CoDA: Exploring Chain-of-Distribution Attacks and Post-Hoc Token-Space Repair for Medical Vision-Language Models

📄 arXiv: 2603.18545 📥 PDF

作者: Xiang Chen, Fangfang Yang, Chunlei Meng, Yuxian Dong, Ang Li, Yiwei Wei, Jiahuan Long, Jiujiang Guo, Chengyin Hu

分类: cs.CV, cs.AI

发布日期: 2026-04-06

💡 一句话要点

CoDA：探索医学视觉-语言模型中的链式分布攻击与事后Token空间修复

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉-语言模型 鲁棒性评估 链式分布攻击 图像质量退化 Token空间修复

📋 核心要点

  1. 现有MVLM鲁棒性评估忽略了临床流程中常见的图像统计偏移，导致模型在实际应用中面临挑战。
  2. CoDA框架通过模拟临床图像处理流程中的各种降级操作，构建链式分布攻击，更真实地评估MVLM的鲁棒性。
  3. 实验表明，CoDA显著降低了MVLM的零样本性能，并验证了事后Token空间修复策略可以有效提升模型在受攻击图像上的准确性。

📝 摘要（中文）

医学视觉-语言模型(MVLMs)越来越多地被用作放射学流程中的感知骨干和多模态助手的前端，但它们在真实临床工作流程中的可靠性仍未得到充分探索。以往的鲁棒性评估通常假设输入是干净且经过整理的，或者研究孤立的损坏，忽略了常规的采集、重建、显示和交付操作，这些操作在保持临床可读性的同时改变了图像统计信息。为了解决这个差距，我们提出了CoDA，一个链式分布框架，通过组合类似采集的阴影、重建和显示重映射以及交付和导出降级来构建临床上合理的流程偏移。在掩蔽结构相似性约束下，CoDA联合优化阶段组合和参数，以诱导失败，同时保持视觉合理性。在脑部MRI、胸部X光和腹部CT中，CoDA显著降低了CLIP风格MVLM的零样本性能，并且链式组合始终比任何单个阶段更具破坏性。我们还评估了多模态大型语言模型(MLLM)作为图像真实性和质量的技术真实性审计员，而不是病理学。专有的多模态模型在CoDA偏移样本上表现出审计可靠性的降低和持续的高置信度错误，而我们测试的医学专用MLLM在医学图像质量审计方面表现出明显的缺陷。最后，我们引入了一种基于教师引导的Token空间自适应和patch级别对齐的事后修复策略，该策略提高了存档CoDA输出的准确性。总的来说，我们的发现描述了MVLM部署中一个基于临床的威胁面，并表明轻量级对齐可以提高部署中的鲁棒性。

🔬 方法详解

问题定义：医学视觉-语言模型(MVLMs)在临床应用中面临图像质量退化带来的鲁棒性问题。现有的鲁棒性评估方法通常关注孤立的图像损坏或假设干净的输入，忽略了临床图像处理流程中常见的图像统计偏移，例如采集伪影、重建误差、显示差异和导出降级。这些流程虽然保持了临床可读性，但会显著影响MVLM的性能。

核心思路：论文的核心思路是构建一个链式分布攻击框架(CoDA)，模拟临床图像处理流程中的各种降级操作，从而更真实地评估MVLM在实际应用中的鲁棒性。CoDA通过组合不同的图像变换阶段，生成具有临床合理性的图像偏移，并利用这些偏移来攻击MVLM。同时，论文还提出了一种事后Token空间修复策略，以提高模型在受攻击图像上的准确性。

技术框架：CoDA框架包含以下几个主要模块：1) 图像采集模拟：模拟图像采集过程中的阴影和伪影。2) 重建和显示重映射：模拟图像重建和显示过程中的对比度、亮度等调整。3) 交付和导出降级：模拟图像交付和导出过程中的压缩和格式转换。CoDA通过联合优化这些阶段的组合和参数，生成具有临床合理性的图像偏移。此外，论文还提出了一种事后修复策略，该策略利用教师模型引导学生模型进行Token空间自适应，并通过patch级别对齐来提高模型在受攻击图像上的准确性。

关键创新：CoDA的关键创新在于：1) 提出了链式分布攻击的概念，更真实地模拟了临床图像处理流程中的图像统计偏移。2) 联合优化图像变换阶段的组合和参数，生成具有临床合理性的图像偏移。3) 提出了一种基于教师引导的Token空间自适应和patch级别对齐的事后修复策略，有效提高了模型在受攻击图像上的准确性。与现有方法相比，CoDA更关注临床实际应用场景，并提供了一种有效的防御机制。

关键设计：CoDA使用掩蔽结构相似性(masked structural-similarity)作为约束，以确保生成的图像偏移在视觉上是合理的。在优化过程中，CoDA联合优化各个图像变换阶段的参数，例如阴影强度、对比度调整等。事后修复策略使用教师模型(例如，在干净数据上训练的模型)来引导学生模型(例如，在受攻击数据上训练的模型)进行Token空间自适应。Patch级别对齐通过最小化教师模型和学生模型在patch级别上的特征差异来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoDA框架能够显著降低CLIP风格MVLM的零样本性能，证明了临床图像处理流程中的图像统计偏移对模型性能的影响。在脑部MRI、胸部X光和腹部CT数据集上，链式组合攻击比任何单个阶段的攻击更具破坏性。事后Token空间修复策略能够有效提高模型在受攻击图像上的准确性，例如在特定数据集上提升了5%以上的准确率。

🎯 应用场景

该研究成果可应用于评估和提升医学视觉-语言模型在实际临床环境中的可靠性。通过CoDA框架，可以更全面地评估模型在各种图像质量退化情况下的性能，并开发更鲁棒的模型。此外，该研究提出的事后修复策略可以有效提高模型在受攻击图像上的准确性，从而提高临床诊断的准确性和可靠性。

📄 摘要（原文）

Medical vision--language models (MVLMs) are increasingly used as perceptual backbones in radiology pipelines and as the visual front end of multimodal assistants, yet their reliability under real clinical workflows remains underexplored. Prior robustness evaluations often assume clean, curated inputs or study isolated corruptions, overlooking routine acquisition, reconstruction, display, and delivery operations that preserve clinical readability while shifting image statistics. To address this gap, we propose CoDA, a chain-of-distribution framework that constructs clinically plausible pipeline shifts by composing acquisition-like shading, reconstruction and display remapping, and delivery and export degradations. Under masked structural-similarity constraints, CoDA jointly optimizes stage compositions and parameters to induce failures while preserving visual plausibility. Across brain MRI, chest X-ray, and abdominal CT, CoDA substantially degrades the zero-shot performance of CLIP-style MVLMs, with chained compositions consistently more damaging than any single stage. We also evaluate multimodal large language models (MLLMs) as technical-authenticity auditors of imaging realism and quality rather than pathology. Proprietary multimodal models show degraded auditing reliability and persistent high-confidence errors on CoDA-shifted samples, while the medical-specific MLLMs we test exhibit clear deficiencies in medical image quality auditing. Finally, we introduce a post-hoc repair strategy based on teacher-guided token-space adaptation with patch-level alignment, which improves accuracy on archived CoDA outputs. Overall, our findings characterize a clinically grounded threat surface for MVLM deployment and show that lightweight alignment improves robustness in deployment.