Multi-scale Fusion of Fast Vision Mamba and Foundation Model Features for Patch-Level Gleason Grading in Computational Pathology

📄 arXiv: 2610.25904v1 📥 PDF

作者: Zihe Zhang, Weimiao Yu, Piumi Don Simonge

分类: cs.CV

发布日期: 2026-10-19

备注: 13 pages, 4 figures and 4 tables (including supplementary), Accepted to COMPAYL workshop MICCAI 2026, Comments are welcome!

💡 一句话要点

提出多尺度融合方法以解决前列腺癌Gleason分级问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 前列腺癌 Gleason分级 多尺度融合 计算病理学 基础模型 FastVim 特征提取 深度学习

📋 核心要点

  1. 现有方法在处理前列腺癌Gleason分级时面临微小形态差异和类别不平衡的挑战，导致准确性不足。
  2. 本文提出的多尺度分类器结合了冻结的基础模型和轻量级FastVim，能够在多个尺度上有效提取特征。
  3. 在PANDA数据集上，本文方法的宏F1值和Gleason 5 F1值分别提高了12%和21%，显示出显著的性能提升。

📝 摘要（中文）

自动化的前列腺全切片图像（WSIs）Gleason分级能够加速和提高癌症风险分层的一致性。然而，由于不同等级之间的微妙形态差异、稀有模式导致的严重类别不平衡以及诊断特征跨越多个空间尺度，这一任务依然具有挑战性。本文提出了一种基于状态空间模型的多尺度分类器，结合了冻结的基础模型和轻量级的FastVim，后者在ImageNet上进行预训练并从基础模型中提取特征。通过在PANDA数据集上的实验，本文方法在5折交叉验证中达到了0.894的宏F1值和0.802的Gleason 5 F1值，相较于最佳单尺度模型分别提高了12%和21%。

🔬 方法详解

问题定义：本文旨在解决前列腺癌Gleason分级中的自动化问题，现有方法在处理微小形态差异和类别不平衡时表现不佳，限制了分类精度。

核心思路：提出了一种多尺度分类器，结合了基础模型和轻量级FastVim，通过多尺度特征融合来增强空间上下文信息，从而提高分类性能。

技术框架：整体架构包括两个主要模块：一个冻结的基础模型用于提取强特征，另一个是FastVim，负责读取原始图像块。每个尺度的Mamba模型编码来自两个源的特征，最后通过联合训练的头部将编码表示融合为一个预测结果。

关键创新：最重要的创新在于多尺度特征融合和状态空间模型的应用，使得模型能够在不同尺度上有效捕捉空间上下文信息，克服了单尺度模型的局限性。

关键设计：关键设计包括使用线性时间的空间上下文编码，结合多个基础模型和分类器进行对比实验，确保在不同尺度上均能获得性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在PANDA数据集上达到了宏F1值0.894和Gleason 5 F1值0.802，相较于最佳单尺度模型分别提升了12%和21%。这一结果表明多尺度特征融合在病理图像分析中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算病理学和癌症诊断，能够为临床医生提供更快速和准确的癌症风险评估工具。未来，随着技术的进步，该方法可能扩展到其他类型的肿瘤分级和病理图像分析中。

📄 摘要（原文）

Automated Gleason grading of prostate whole slide images (WSIs) enables faster and more consistent cancer risk stratification. However, it remains a challenging task due to the subtle morphological differences between grades, the severe class imbalance arising from rare patterns, and the diagnostic features that span multiple spatial scales. Pathology foundation models (FMs) extract strong patch representations but often operate at a single-scale, which limits spatial context and disproportionately affects classes that depend on broader context. The challenge of fusing multiple scales and complementary models, with minimal data and computational resources, remains unresolved. We propose a multi-scale classifier built on state-space models. Our method combines two complementary feature sources: a frozen foundation model, and a lightweight FastVim, pre-trained on ImageNet and distilled from the foundation model, that reads the raw image crops. At each scale, a Mamba model encodes the features from both sources with linear-time spatial context, and a jointly trained head fuses the encoded representations into one prediction. On the PANDA dataset, our method reaches macro F1 of 0.894 and Gleason 5 F1 of 0.802 under 5-fold cross-validation, a 12% and 21% relative improvement over the best single-scale model. A controlled study over 5 foundation models, 5 base classifiers and 3 scales confirms that the gain holds across encoders, with larger improvements observed at smaller scales.