Cross-Patient Pseudo Bags Generation and Curriculum Contrastive Learning for Imbalanced Multiclassification of Whole Slide Image

📄 arXiv: 2411.11262v1 📥 PDF

作者: Yonghuang Wu, Xuan Xie, Xinyuan Niu, Chengqian Zhao, Jinhua Yu

分类: cs.CV, cs.AI

发布日期: 2024-11-18

备注: 9 pages, 4 figures

💡 一句话要点

提出跨患者伪包生成与课程对比学习方法，解决WSI不平衡多分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全切片图像 多分类 样本不平衡 伪包生成 课程对比学习

📋 核心要点

  1. WSI多分类面临样本不平衡的挑战，现有方法难以有效利用WSI的丰富信息。
  2. 通过生成与原始WSI相似特征分布的伪包，并结合课程对比学习，提升模型对细粒度信息的学习能力。
  3. 在肿瘤分类和淋巴结转移等三个数据集上，F1分数平均提升4.39个百分点，性能显著优于现有方法。

📝 摘要（中文）

病理计算显著改善了病理学家的工作流程和诊断决策过程。尽管计算机辅助诊断系统在全切片图像(WSI)分析中显示出巨大的价值，但样本不平衡下的多分类问题仍然是一个难以解决的挑战。为了解决这个问题，我们提出通过生成具有与原始WSI相似特征分布的子包来学习细粒度信息。此外，我们利用伪包生成算法来进一步利用WSI中丰富且冗余的信息，从而在不平衡样本多分类任务中实现高效训练。此外，我们引入了一种基于亲和力的样本选择和课程对比学习策略，以增强模型表征学习的稳定性。与以往的方法不同，我们的框架从学习包级别的表征过渡到理解和利用多实例包的特征分布。我们的方法在包括肿瘤分类和淋巴结转移在内的三个数据集上表现出显著的性能提升。平均而言，与三个任务中第二好的方法相比，F1分数提高了4.39个百分点，突显了其卓越的性能。

🔬 方法详解

问题定义：论文旨在解决全切片图像（WSI）多分类任务中，由于样本类别不平衡导致的模型性能下降问题。现有方法通常难以充分利用WSI中包含的丰富信息，并且在类别不平衡的情况下，模型容易偏向多数类，导致少数类的识别精度较低。

核心思路：论文的核心思路是通过生成与原始WSI具有相似特征分布的伪包，来扩充训练数据，并利用课程对比学习策略，逐步提升模型对细粒度特征的学习能力。通过这种方式，模型可以更好地理解和利用WSI中的信息，从而提高在不平衡数据集上的分类性能。

技术框架：该方法主要包含以下几个模块：1) 伪包生成模块：用于生成与原始WSI具有相似特征分布的伪包，从而扩充训练数据。2) 亲和性样本选择模块：基于样本之间的亲和性，选择具有代表性的样本进行训练，以提高模型的学习效率。3) 课程对比学习模块：采用课程学习的思想，逐步提升模型对细粒度特征的学习能力。整体流程是，首先利用伪包生成模块扩充数据，然后利用亲和性样本选择模块选择代表性样本，最后利用课程对比学习模块训练模型。

关键创新：该论文的关键创新在于：1) 提出了跨患者伪包生成算法，能够有效利用WSI中冗余信息，缓解样本不平衡问题。2) 引入了基于亲和性的样本选择策略，提高了模型的学习效率。3) 采用了课程对比学习策略，增强了模型表征学习的稳定性。与现有方法相比，该方法更注重学习WSI的细粒度特征分布，而不是仅仅学习包级别的表征。

关键设计：伪包生成算法的具体实现细节未知。课程对比学习策略可能涉及到设计合适的损失函数，例如InfoNCE损失，以及设计合理的课程表，例如从易到难地选择训练样本。基于亲和性的样本选择策略可能涉及到计算样本之间的相似度，并选择与多数样本相似的样本进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在三个数据集上进行了验证，包括肿瘤分类和淋巴结转移检测。实验结果表明，该方法在F1分数上平均提升了4.39个百分点，显著优于其他基线方法。这表明该方法能够有效解决WSI多分类中的样本不平衡问题，并提高模型的分类性能。

🎯 应用场景

该研究成果可应用于计算机辅助病理诊断，例如肿瘤分类、淋巴结转移检测等。通过提高WSI多分类的准确性，可以辅助病理学家进行更快速、更准确的诊断，从而改善患者的治疗效果。该技术还可扩展到其他医学图像分析领域，具有广阔的应用前景。

📄 摘要（原文）

Pathology computing has dramatically improved pathologists' workflow and diagnostic decision-making processes. Although computer-aided diagnostic systems have shown considerable value in whole slide image (WSI) analysis, the problem of multi-classification under sample imbalance remains an intractable challenge. To address this, we propose learning fine-grained information by generating sub-bags with feature distributions similar to the original WSIs. Additionally, we utilize a pseudo-bag generation algorithm to further leverage the abundant and redundant information in WSIs, allowing efficient training in unbalanced-sample multi-classification tasks. Furthermore, we introduce an affinity-based sample selection and curriculum contrastive learning strategy to enhance the stability of model representation learning. Unlike previous approaches, our framework transitions from learning bag-level representations to understanding and exploiting the feature distribution of multi-instance bags. Our method demonstrates significant performance improvements on three datasets, including tumor classification and lymph node metastasis. On average, it achieves a 4.39-point improvement in F1 score compared to the second-best method across the three tasks, underscoring its superior performance.