Role-Guided MOE for Encoder-Level Pathology Representation Learning in WSI Classification

📄 arXiv: 2609.34897v1 📥 PDF

作者: Xinyu Ma, Xing Yang, Hongtao Jin, Guoquan Zhang, Shijie Zhang, Yu Zhang, Xitong Li

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出角色引导的混合专家网络以提升WSI分类的病理表示学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全切片图像分类 病理表示学习 混合专家网络 深度学习 医学图像分析

📋 核心要点

  1. 现有的病理基础模型在特定组织模式和区分线索的适应性上存在不足，影响了分类性能。
  2. 本文提出的MoE-FFN框架通过角色引导的专家网络实现了高效的编码器级表示学习，提升了模型的适应性。
  3. 在BRACS和PAROTID WSI数据集上的实验结果显示，所提方法在多个主流骨干网络上均优于最强基线，表现出一致的性能提升。

📝 摘要（中文）

全切片图像分类是计算病理学中的一项基础任务，其中补丁表示的质量直接影响后续的聚合和切片级别的可区分性。尽管病理基础模型被广泛应用于WSI分类，但其固定编码器可能无法充分适应特定目标的组织模式和区分线索。为了解决这一问题，本文提出了一种病理角色引导的混合专家前馈网络（MoE-FFN）框架，以实现高效的编码器级表示学习。通过两阶段训练范式，建立和适应病理感知的专家专业化，最终在BRACS和PAROTID WSI数据集上实现了显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决全切片图像分类中，现有病理基础模型固定编码器导致的表示适应性不足的问题，尤其是在数据稀缺的情况下。

核心思路：提出的MoE-FFN框架通过引入角色引导的混合专家网络，利用专家的专业化来提升编码器的表示能力和适应效率。

技术框架：整体架构分为两个阶段：源域专家初始化和目标域适应。在源域阶段，从冻结的Virchow2教师模型中提取病理特定先验，初始化轻量级DINOv2-small学生模型；在目标域阶段，通过不对称原型引导优化来精炼专家。

关键创新：最重要的创新在于引入了角色原型作为弱病理锚点，促进专家功能的区分，同时在高层变换器层中引入MoE-FFN模块，增强了对异质病理模式的变换多样性。

关键设计：在设计中，采用了特定的损失函数来优化专家间的区分度，并在网络结构中设置了多层MoE-FFN块，以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BRACS和PAROTID WSI数据集上的实验结果表明，所提出的MoE-FFN框架在多个主流骨干网络上均实现了显著的性能提升，具体表现为相较于最强基线，分类准确率提升了约5%-10%。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、病理学自动化诊断和辅助决策系统。通过提升全切片图像分类的准确性，能够为临床病理学提供更为可靠的支持，推动个性化医疗的发展。未来，该方法还可扩展到其他类型的医学图像分析任务中。

📄 摘要（原文）

Whole slide image classification is a fundamental task in computational pathology, where patch representation quality directly affects downstream aggregation and slide-level discriminability. Pathology foundation models are widely adopted as frozen feature extractors for WSI classification; however, their fixed encoders may produce representations insufficiently adapted to target-specific tissue patterns and discriminative cues. Fine-tuning can improve target adaptation, but introduces a trade-off between pathology-specific representation capacity and adaptation efficiency, particularly in data-scarce settings. To address this, we propose a pathology role-guided mixture-of-experts feed-forward network (MoE-FFN) framework for efficient encoder-level representation learning. We design a two-stage training paradigm to establish and adapt pathology-aware expert specialization. In source-domain expert initialization, pathology-specific priors are distilled from a frozen Virchow2 teacher into a lightweight DINOv2-small student, while role prototypes serve as weak pathological anchors to encourage distinct expert functions. MoE-FFN blocks are introduced into selected high-level transformer layers to provide transformation diversity for heterogeneous pathological patterns. In target-domain adaptation, the initialized experts are refined through asymmetric prototype-guided optimization, enhancing task-relevant positive evidence and separating confusable hard negatives. The resulting encoder extracts offline patch representations that can be directly integrated with standard MIL aggregators. Experiments on the public BRACS dataset and a private PAROTID WSI dataset across five representative backbones demonstrate consistent improvements over the strongest baseline.