MiTHras: Task-specific Hierarchical Semi-supervised Contrastive Masked Autoencoder for Mitotic Figure Analysis
作者: Trinh T. L. Vuong, Simon Graham, Quoc Dang Vu, Phat T. H. Ho, Jeewoo Lim, Mostafa Jahanifar, Nasir Rajpoot, Jin T. Kwak
分类: cs.CV, cs.LG
发布日期: 2026-09-21
备注: 15 pages, 4 figures, 9 tables. Includes supplementary material
💡 一句话要点
提出MiTHras以解决有丝分裂图像分析中的自动化挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 有丝分裂分析 伪标签学习 对比学习 掩蔽重建 肿瘤分级 生存预测 深度学习
📋 核心要点
- 现有的自动化模型在有丝分裂图像分析中对组织类型和图像采集的差异敏感，导致性能不稳定。
- MiTHras通过结合伪标签引导的图像和标记级对比学习与掩蔽重建，提出了一种任务特定的预训练框架。
- 在MF分类、检测和亚型分类的评估中，MiTHras在所有基准上均取得了最高的平均F1分数，显示出显著的性能提升。
📝 摘要（中文）
有丝分裂图像（MF）分析对肿瘤分级和预后评估至关重要，但现有自动化模型对组织类型和图像采集的差异敏感。本文提出MiTHras，一个任务特定的预训练框架，结合伪标签引导的图像和标记级对比学习与掩蔽重建。我们构建了TCGA-MF-Pseudo，一个包含来自14个TCGA队列、覆盖11个器官部位的180万张细胞中心图像的语料库。对MF分类、检测、基于计数的生存预测和亚型分类的全面评估表明，MiTHras在所有三个MF分类基准和两个亚型基准上都取得了最高的平均F1分数。尽管检测的提升有限，但消融实验确认标记级监督改善了典型与非典型分类和线性探测的效果。这些发现表明，MiTHras为自动化有丝分裂活动评估提供了稳健且可转移的表示。
🔬 方法详解
问题定义：本文旨在解决有丝分裂图像分析中的自动化挑战，现有方法在不同组织类型和图像采集条件下表现不佳，导致分类和检测的准确性降低。
核心思路：MiTHras的核心思路是结合伪标签引导的对比学习和掩蔽重建，以增强模型对不同图像特征的适应能力，从而提高分类和检测的准确性。
技术框架：MiTHras的整体架构包括数据预处理、伪标签生成、对比学习模块和掩蔽重建模块。首先，从TCGA数据集中提取细胞中心图像，然后生成伪标签，接着进行对比学习和掩蔽重建以优化模型。
关键创新：MiTHras的主要创新在于引入了任务特定的预训练策略，结合了图像和标记级的对比学习，显著提高了模型在有丝分裂图像分析中的表现，尤其是在处理不同组织类型时的鲁棒性。
关键设计：在模型设计中，采用了特定的损失函数以平衡对比学习和重建任务的权重，同时在网络结构上进行了优化，以提高特征提取的效率和准确性。
🖼️ 关键图片
📊 实验亮点
在实验中，MiTHras在所有三个MF分类基准和两个亚型基准上均取得了最高的平均F1分数，显示出显著的性能提升。与通用模型相比，MiTHras在冻结编码器的线性探测下表现出更大的优势，验证了其在特定任务中的有效性。
🎯 应用场景
该研究在肿瘤学和病理学领域具有广泛的应用潜力，能够为自动化肿瘤分级和预后评估提供支持。未来，MiTHras可能会被应用于临床实践中，帮助病理学家提高诊断效率和准确性。
📄 摘要（原文）
Mitotic figure (MF) analysis supports tumor grading and prognostic assessment, but automated models remain sensitive to differences in tissue type and image acquisition. We present MiTHras, a task-specific pretraining framework that combines pseudo-label-guided image- and token-level contrastive learning with masked reconstruction. We construct TCGA-MF-Pseudo, a corpus of 1.8 million cell-centered images from 14 TCGA cohorts spanning 11 organ sites. Comprehensive evaluation on MF classification, detection, count-based survival prediction, and subtype classification demonstrates the efficacy of MiTHras. It achieves the highest mean F1 on all three MF classification benchmarks and both subtype benchmarks. MiTHras also outperforms general-purpose and pathology foundation encoders by a larger margin under frozen-encoder linear probing than under full fine-tuning. Although detection gains are modest due to a shared candidate-detection stage, ablations confirm that token-level supervision improves typical-versus-atypical classification and linear probing. These findings establish that MiTHras yields robust, transferable representations for automated mitotic activity assessment.