Multimodal Knowledge Distillation for Gastric Adenocarcinoma Classification from Whole-Slide Images

📄 arXiv: 2610.07913v1 📥 PDF

作者: Shrihari Dumbre, Bikash Santra

分类: cs.CV, cs.AI

发布日期: 2026-10-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态知识蒸馏框架以提高胃腺癌分类精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态知识蒸馏 胃腺癌 全切片图像 低秩多模态融合 图像分类 临床文本编码 病理学 深度学习

📋 核心要点

  1. 现有的多模态方法依赖于复杂的变换器架构，计算成本高且效率低，限制了其在临床应用中的可行性。
  2. 本文提出的多模态知识蒸馏框架通过低秩多模态融合技术，结合图像和文本信息，优化了跨模态交互的建模过程。
  3. 在PatchGastric基准数据集上，所提方法的平均准确率比现有最先进方法高出至少3.35%，展示了其有效性和优势。

📝 摘要（中文）

胃腺癌（GA）是全球癌症相关死亡的主要原因，准确的组织病理亚型分类对于有效的治疗规划至关重要。尽管将病理报告文本与全切片图像（WSIs）结合的多模态方法可以改善分类效果，但现有方法通常依赖于计算成本高昂的变换器架构和大型语言模型。本文提出了一种多模态知识蒸馏（MKD）框架，结合了预训练的WSI图像编码器和临床文本编码器，利用低秩多模态融合（LMF）高效建模训练过程中的跨模态交互。每个WSI被表示为一组与滑动级诊断标题配对的图像块。教师模型学习融合的图像-文本表示以进行亚型分类，而学生模型则蒸馏该知识以实现准确的图像单独推断。我们在PatchGastric基准数据集上评估了该方法，取得了至少3.35%的平均准确率提升，且不依赖于基于变换器的融合、多任务学习或大型语言模型。

🔬 方法详解

问题定义：本文旨在解决胃腺癌分类中现有多模态方法的高计算成本和效率低下的问题，特别是依赖于复杂变换器架构的局限性。

核心思路：提出的多模态知识蒸馏框架通过低秩多模态融合技术，结合预训练的WSI图像编码器和临床文本编码器，优化了跨模态信息的融合与蒸馏过程，从而提高分类精度。

技术框架：整体架构包括教师模型和学生模型。教师模型负责学习融合的图像-文本表示，而学生模型则通过知识蒸馏技术从教师模型中提取知识，以实现图像单独推断。

关键创新：本研究的主要创新在于引入低秩多模态融合（LMF）技术，避免了对变换器架构的依赖，从而显著降低了计算复杂度，同时保持了分类性能。

关键设计：模型设计中，图像被分割为多个图像块，并与对应的滑动级诊断标题配对。损失函数设计上，采用了适合多模态学习的蒸馏损失，以确保学生模型能够有效学习教师模型的知识。整体网络结构经过优化，以提高训练效率和推断准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PatchGastric基准数据集上，所提多模态知识蒸馏框架实现了至少3.35%的平均准确率提升，相较于现有最先进的方法，展示了显著的性能优势。该方法不依赖于变换器架构，具有更高的计算效率和实用性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析和病理学诊断，尤其是在胃腺癌的早期检测和分类中。通过提高分类精度，该方法能够为临床医生提供更可靠的决策支持，进而改善患者的治疗效果和生存率。未来，该框架也可扩展到其他类型的癌症分类和多模态数据分析中。

📄 摘要（原文）

Gastric adenocarcinoma (GA) is a leading cause of cancer-related mortality worldwide, and accurate histopathological subtype classification from whole-slide images (WSIs) is essential for effective treatment planning. While multimodal approaches that integrate pathology report text with WSIs can improve classification, existing methods often depend on computationally expensive transformer architectures and large language models. We propose a multimodal knowledge distillation (MKD) framework that combines a pretrained WSI image encoder and a clinical text encoder using Low-Rank Multimodal Fusion (LMF) to efficiently model cross-modal interactions during training. Each WSI is represented as a bag of patches paired with a slide-level diagnostic caption. The teacher model learns fused image-text representations for subtype classification, while the student model distills this knowledge to enable accurate image-only inference. We evaluate our method on the PatchGastric benchmark dataset and achieve at least 3.35% higher mean accuracy than state-of-the-art approaches, without relying on transformer-based fusion, multi-task learning, or large language models. The source code is available at https://github.com/helomelo1/MKD-LMF.