A multimodal slice discovery framework for systematic failure detection and explanation in medical image classification
作者: Yixuan Liu, Kanwal K. Bhatia, Ahmed E. Fetit
分类: cs.CV, cs.LG
发布日期: 2026-02-27
💡 一句话要点
提出多模态切片发现框架，用于医学图像分类中系统性错误检测与解释
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学图像分类 多模态学习 切片发现 系统性错误检测 模型审计
📋 核心要点
- 现有医学图像分类审计方法依赖单模态特征或元数据分析，缺乏可解释性且难以发现隐藏的系统性错误。
- 提出一种多模态切片发现框架，扩展了切片发现方法到多模态表示，用于医学图像分类的自动审计。
- 在MIMIC-CXR-JPG数据集上的实验表明，该框架能有效发现错误并生成解释，多模态信息提升审计效果。
📝 摘要（中文）
本文提出了一种自动审计框架，通过扩展切片发现方法到多模态表示，专门用于医学应用，旨在解决基于机器学习的医学图像分类器在实际应用中的安全性和可靠性问题。现有审计方法主要依赖于单模态特征或基于元数据的子组分析，其可解释性有限，且常常无法捕捉隐藏的系统性错误。在MIMIC-CXR-JPG数据集上进行的实验表明，该框架在错误发现和解释生成方面具有强大的能力。研究结果还表明，多模态信息通常可以对分类器进行更全面有效的审计，而图像之外的单模态变体在资源受限的情况下也表现出强大的潜力。
🔬 方法详解
问题定义：医学图像分类器在实际应用中面临安全性和可靠性挑战，现有的审计方法，如基于单模态特征或元数据的子组分析，存在可解释性差、难以发现隐藏系统性错误等问题。因此，需要一种更有效、更具解释性的方法来审计医学图像分类器，发现并解释其系统性错误。
核心思路：核心思路是将切片发现方法扩展到多模态表示，利用图像、文本报告等多种信息源，更全面地理解模型的行为。通过寻找模型在特定数据切片上表现不佳的情况，揭示模型存在的系统性偏差和潜在风险。这种方法旨在提高审计的效率和准确性，并提供更深入的错误解释。
技术框架：该框架包含以下主要模块：1) 多模态特征提取：从医学图像和相关文本报告中提取特征，形成多模态表示。2) 切片发现：利用切片发现算法，在多模态特征空间中寻找模型表现不佳的数据切片。3) 错误解释：分析发现的切片，生成对模型错误的解释，例如，模型在特定疾病或特定图像特征组合下容易出错。整体流程是从多模态数据中提取特征，然后利用切片发现算法定位错误，最后生成解释。
关键创新：关键创新在于将切片发现方法扩展到多模态医学数据，并将其应用于医学图像分类器的审计。与传统的单模态审计方法相比，该方法能够利用更丰富的信息，更全面地理解模型的行为，从而发现更隐蔽的系统性错误。此外，该框架还能够生成对错误的解释，帮助用户理解模型出错的原因。
关键设计：具体的技术细节包括：1) 使用预训练的深度学习模型（如ResNet、BERT）提取图像和文本特征。2) 使用特定的切片发现算法（具体算法未明确说明，但应是能够处理高维多模态数据的算法）。3) 设计合适的损失函数，用于衡量模型在不同切片上的表现。4) 针对医学图像的特点，可能需要进行特定的数据增强和预处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在MIMIC-CXR-JPG数据集上能够有效地发现和解释医学图像分类器中的系统性错误。多模态信息能够提升审计的全面性和有效性。即使仅使用图像之外的单模态信息，也能在资源受限的情况下实现较好的审计效果。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。
🎯 应用场景
该研究成果可应用于医学图像分类系统的安全性和可靠性评估，帮助医生和研究人员发现模型存在的潜在风险和偏差，提高诊断的准确性和可靠性。此外，该框架还可用于改进模型的设计和训练，减少系统性错误的发生，最终提升医疗决策的质量。
📄 摘要（原文）
Despite advances in machine learning-based medical image classifiers, the safety and reliability of these systems remain major concerns in practical settings. Existing auditing approaches mainly rely on unimodal features or metadata-based subgroup analyses, which are limited in interpretability and often fail to capture hidden systematic failures. To address these limitations, we introduce the first automated auditing framework that extends slice discovery methods to multimodal representations specifically for medical applications. Comprehensive experiments were conducted under common failure scenarios using the MIMIC-CXR-JPG dataset, demonstrating the framework's strong capability in both failure discovery and explanation generation. Our results also show that multimodal information generally allows more comprehensive and effective auditing of classifiers, while unimodal variants beyond image-only inputs exhibit strong potential in scenarios where resources are constrained.