Enhancing WSI-Based Survival Analysis with Report-Auxiliary Self-Distillation

📄 arXiv: 2509.15608v1 📥 PDF

作者: Zheng Wang, Hong Liu, Zheng Wang, Danyi Li, Min Cen, Baptiste Magnier, Li Liang, Liansheng Wang

分类: cs.CV

发布日期: 2025-09-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出Rasa框架，利用报告辅助自蒸馏增强WSI生存分析，提升癌症预后预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全切片图像 生存分析 自蒸馏 病理报告 大型语言模型

📋 核心要点

  1. 传统WSI生存分析受限于噪声特征和数据稀缺，难以有效捕捉关键预后信息。
  2. Rasa框架利用病理报告中的文本信息，通过自蒸馏过滤WSI特征，提升模型性能。
  3. 实验表明，Rasa在CRC和TCGA-BRCA数据集上优于现有方法，验证了其有效性。

📝 摘要（中文）

基于全切片图像(WSI)的生存分析对于评估癌症预后至关重要，因为它们提供了预测患者结果所需的详细微观信息。然而，传统的基于WSI的生存分析通常面临特征噪声和数据可访问性有限的问题，阻碍了它们有效捕获关键预后特征的能力。尽管病理报告提供了丰富的患者特异性信息，可以辅助分析，但它们在增强基于WSI的生存分析方面的潜力在很大程度上尚未被探索。为此，本文提出了一种新颖的报告辅助自蒸馏(Rasa)框架，用于基于WSI的生存分析。首先，利用先进的大型语言模型(LLM)通过精心设计的任务提示从原始噪声病理报告中提取细粒度的、与WSI相关的文本描述。接下来，设计了一个基于自蒸馏的流程，在教师模型的文本知识的指导下，过滤掉学生模型的不相关或冗余WSI特征。最后，在学生模型的训练过程中加入了一种风险感知的混合策略，以增强训练数据的数量和多样性。在我们收集的数据(CRC)和公共数据(TCGA-BRCA)上进行的大量实验证明了Rasa相对于最先进方法的卓越有效性。

🔬 方法详解

问题定义：基于全切片图像(WSI)的生存分析旨在预测患者的生存时间，但现有方法受限于WSI中固有的噪声特征和有限的数据量。病理报告包含丰富的患者特异性信息，但如何有效利用这些信息来增强WSI生存分析是一个挑战。现有方法未能充分利用病理报告的潜力，导致模型性能受限。

核心思路：Rasa的核心思路是利用病理报告作为辅助信息，通过自蒸馏的方式指导WSI特征的学习。具体来说，使用大型语言模型从病理报告中提取与WSI相关的文本描述，然后利用这些文本信息作为教师信号，指导学生模型学习更具判别性的WSI特征。这种方法可以有效地过滤掉WSI中的噪声特征，并提高模型的泛化能力。

技术框架：Rasa框架包含三个主要模块：1) 文本特征提取模块：使用大型语言模型从病理报告中提取文本描述。2) 自蒸馏模块：利用文本特征作为教师信号，指导学生模型学习WSI特征。3) 风险感知混合模块：通过混合不同风险级别的样本，增加训练数据的多样性。整个流程是先利用LLM提取文本特征，然后进行自蒸馏训练，最后使用风险感知混合策略进行微调。

关键创新：Rasa的关键创新在于将病理报告的文本信息融入到WSI生存分析中，并提出了一种基于自蒸馏的训练方法。与现有方法相比，Rasa能够更有效地利用病理报告的信息，并过滤掉WSI中的噪声特征。此外，风险感知混合策略进一步提高了模型的鲁棒性和泛化能力。

关键设计：在文本特征提取模块中，使用了精心设计的任务提示(task prompt)来指导LLM提取与WSI相关的文本描述。在自蒸馏模块中，使用了KL散度损失函数来衡量学生模型和教师模型之间的差异。在风险感知混合模块中，根据患者的风险级别对样本进行混合，以增加训练数据的多样性。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Rasa在CRC数据集和TCGA-BRCA数据集上均取得了显著的性能提升。在CRC数据集上，Rasa的C-index比现有最佳方法提高了约5%。在TCGA-BRCA数据集上，Rasa也取得了类似的性能提升。这些结果表明，Rasa能够有效地利用病理报告信息，并提高WSI生存分析的准确性。

🎯 应用场景

该研究成果可应用于癌症预后预测、个性化治疗方案制定以及新药研发等领域。通过结合WSI和病理报告信息，可以更准确地评估患者的生存风险，为临床决策提供更可靠的依据。此外，该方法还可以推广到其他医学图像分析任务中，具有广泛的应用前景。

📄 摘要（原文）

Survival analysis based on Whole Slide Images (WSIs) is crucial for evaluating cancer prognosis, as they offer detailed microscopic information essential for predicting patient outcomes. However, traditional WSI-based survival analysis usually faces noisy features and limited data accessibility, hindering their ability to capture critical prognostic features effectively. Although pathology reports provide rich patient-specific information that could assist analysis, their potential to enhance WSI-based survival analysis remains largely unexplored. To this end, this paper proposes a novel Report-auxiliary self-distillation (Rasa) framework for WSI-based survival analysis. First, advanced large language models (LLMs) are utilized to extract fine-grained, WSI-relevant textual descriptions from original noisy pathology reports via a carefully designed task prompt. Next, a self-distillation-based pipeline is designed to filter out irrelevant or redundant WSI features for the student model under the guidance of the teacher model's textual knowledge. Finally, a risk-aware mix-up strategy is incorporated during the training of the student model to enhance both the quantity and diversity of the training data. Extensive experiments carried out on our collected data (CRC) and public data (TCGA-BRCA) demonstrate the superior effectiveness of Rasa against state-of-the-art methods. Our code is available at https://github.com/zhengwang9/Rasa.