On the effectiveness of multimodal privileged knowledge distillation in two vision transformer based diagnostic applications

📄 arXiv: 2508.06558v1 📥 PDF

作者: Simon Baur, Alexandra Benova, Emilio Dolgener Cantú, Jackie Ma

分类: cs.CV, cs.LG

发布日期: 2025-08-06

💡 一句话要点

提出多模态特权知识蒸馏以提升视觉模型诊断能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态特权知识蒸馏 视觉变换器 医学影像分析 知识蒸馏 深度学习 临床决策 零-shot学习

📋 核心要点

  1. 现有方法在临床应用中面临多模态数据不可用的问题，导致决策的稳健性和可信度下降。
  2. 本文提出的MMPKD策略通过利用训练期间的额外模态，指导单模态视觉模型的学习，提升模型性能。
  3. 实验结果表明，MMPKD显著提高了注意力图在定位输入图像中感兴趣区域的能力，但在不同领域间的泛化能力有限。

📝 摘要（中文）

在临床实践中，深度学习模型的部署通常需要利用多种数据模态（如图像、文本和结构化数据）以实现稳健和可信的决策。然而，并非所有模态在推理时都可用。本文提出了一种多模态特权知识蒸馏（MMPKD）训练策略，利用仅在训练期间可用的额外模态来指导单模态视觉模型。具体而言，我们使用基于文本的教师模型（MIMIC-CXR）和基于表格元数据的教师模型（CBIS-DDSM）来将知识蒸馏到视觉变换器学生模型中。研究表明，MMPKD能够改善生成的注意力图在输入图像中定位感兴趣区域的零-shot 能力，但这一效果并未在不同领域间普遍适用，反而与先前研究的建议相悖。

🔬 方法详解

问题定义：本文旨在解决在推理时多模态数据不可用的问题，现有方法在这种情况下的决策能力不足，影响临床应用的有效性。

核心思路：通过引入多模态特权知识蒸馏（MMPKD），利用训练期间可用的额外模态（如文本和表格数据）来指导单模态视觉模型的学习，从而提升其性能。

技术框架：整体架构包括教师模型和学生模型两个主要部分。教师模型分别基于文本和表格数据进行训练，而学生模型则是一个视觉变换器，负责从教师模型中蒸馏知识。

关键创新：MMPKD的创新在于其利用训练期间的多模态信息来增强单模态模型的学习能力，这一方法与传统的单模态训练方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来平衡教师模型与学生模型之间的知识传递，同时在网络结构上优化了视觉变换器的注意力机制，以提高其对输入图像的理解能力。

📊 实验亮点

实验结果显示，MMPKD显著提升了视觉变换器模型在零-shot情况下定位感兴趣区域的能力，具体表现为在MIMIC-CXR和CBIS-DDSM数据集上的性能提升，尽管该效果在不同领域间的泛化能力有限。

🎯 应用场景

该研究具有广泛的潜在应用场景，尤其是在医学影像分析领域。通过提升视觉模型在多模态数据稀缺情况下的表现，能够帮助医生更准确地进行疾病诊断，从而提高临床决策的质量和效率。未来，该方法也可扩展到其他需要多模态数据的应用场景，如自动驾驶和智能监控等。

📄 摘要（原文）

Deploying deep learning models in clinical practice often requires leveraging multiple data modalities, such as images, text, and structured data, to achieve robust and trustworthy decisions. However, not all modalities are always available at inference time. In this work, we propose multimodal privileged knowledge distillation (MMPKD), a training strategy that utilizes additional modalities available solely during training to guide a unimodal vision model. Specifically, we used a text-based teacher model for chest radiographs (MIMIC-CXR) and a tabular metadata-based teacher model for mammography (CBIS-DDSM) to distill knowledge into a vision transformer student model. We show that MMPKD can improve the resulting attention maps' zero-shot capabilities of localizing ROI in input images, while this effect does not generalize across domains, as contrarily suggested by prior research.