Enhancing WSI-Based Survival Analysis with Report-Auxiliary Self-Distillation

📄 arXiv: 2509.15608v1 📥 PDF

作者: Zheng Wang, Hong Liu, Zheng Wang, Danyi Li, Min Cen, Baptiste Magnier, Li Liang, Liansheng Wang

分类: cs.CV

发布日期: 2025-09-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出Rasa框架，利用报告辅助自蒸馏增强WSI的生存分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全切片图像 生存分析 自蒸馏 病理报告 大型语言模型

📋 核心要点

  1. 传统WSI生存分析受限于噪声特征和数据稀缺，难以有效捕捉关键预后信息。
  2. Rasa框架利用病理报告的文本信息，通过自蒸馏过滤WSI的冗余特征，提升模型性能。
  3. 实验表明，Rasa在CRC和TCGA-BRCA数据集上优于现有方法，验证了其有效性。

📝 摘要（中文）

基于全切片图像(WSI)的生存分析对于评估癌症预后至关重要，因为它们提供了预测患者结果所需的详细微观信息。然而，传统的基于WSI的生存分析通常面临特征噪声和数据可访问性有限的问题，阻碍了它们有效捕获关键预后特征的能力。虽然病理报告提供了丰富的患者特定信息，可以辅助分析，但它们增强基于WSI的生存分析的潜力在很大程度上尚未被探索。为此，本文提出了一种新颖的报告辅助自蒸馏(Rasa)框架，用于基于WSI的生存分析。首先，利用先进的大型语言模型(LLM)，通过精心设计的任务提示，从原始噪声病理报告中提取细粒度的、与WSI相关的文本描述。接下来，设计了一个基于自蒸馏的流程，在教师模型的文本知识的指导下，过滤掉学生模型的不相关或冗余WSI特征。最后，在学生模型的训练过程中加入了一种风险感知的混合策略，以增强训练数据的数量和多样性。在我们收集的数据(CRC)和公共数据(TCGA-BRCA)上进行的大量实验证明了Rasa相对于最先进方法的卓越有效性。

🔬 方法详解

问题定义：现有的基于WSI的生存分析方法，面临着WSI特征噪声大、数据可获取性有限的问题。病理报告中包含丰富的患者特异性信息，但如何有效利用这些信息来提升WSI生存分析的性能是一个挑战。现有方法未能充分挖掘病理报告的潜力，导致模型无法准确捕捉关键的预后特征。

核心思路：论文的核心思路是利用病理报告作为辅助信息，通过自蒸馏的方式来指导WSI特征的学习。具体来说，首先使用大型语言模型从病理报告中提取与WSI相关的文本描述，然后利用这些文本信息作为教师信号，指导学生模型学习更有效的WSI特征。这样设计的目的是为了过滤掉WSI中的噪声和冗余信息，从而提高生存分析的准确性。

技术框架：Rasa框架主要包含三个阶段：1) 报告文本提取：使用大型语言模型(LLM)从原始病理报告中提取细粒度的、与WSI相关的文本描述。2) 自蒸馏：构建一个教师-学生模型，教师模型利用提取的文本信息，指导学生模型学习WSI特征。3) 风险感知混合：在学生模型的训练过程中，采用风险感知的混合策略，增加训练数据的多样性。

关键创新：Rasa框架的关键创新在于将病理报告的文本信息引入到WSI生存分析中，并利用自蒸馏的方式来指导WSI特征的学习。与现有方法相比，Rasa能够更有效地利用病理报告中的信息，从而提高生存分析的准确性。此外，风险感知的混合策略也进一步提升了模型的泛化能力。

关键设计：在报告文本提取阶段，论文设计了一个专门的任务提示(task prompt)来指导LLM提取与WSI相关的文本描述。在自蒸馏阶段，论文采用了KL散度作为蒸馏损失函数，用于衡量学生模型和教师模型之间的差异。在风险感知混合阶段，论文根据患者的风险评分来调整混合比例，使得模型更加关注高风险患者。

📊 实验亮点

在CRC数据集和TCGA-BRCA数据集上的实验结果表明，Rasa框架显著优于现有的WSI生存分析方法。例如，在CRC数据集上，Rasa的C-index指标提升了5%以上，表明其具有更强的生存预测能力。代码已开源。

🎯 应用场景

该研究成果可应用于癌症预后评估，辅助医生进行更精准的治疗方案制定。通过整合WSI和病理报告信息，Rasa框架能够提供更可靠的生存预测，帮助患者更好地了解自身病情，并为新药研发提供更有效的生物标志物。

📄 摘要（原文）

Survival analysis based on Whole Slide Images (WSIs) is crucial for evaluating cancer prognosis, as they offer detailed microscopic information essential for predicting patient outcomes. However, traditional WSI-based survival analysis usually faces noisy features and limited data accessibility, hindering their ability to capture critical prognostic features effectively. Although pathology reports provide rich patient-specific information that could assist analysis, their potential to enhance WSI-based survival analysis remains largely unexplored. To this end, this paper proposes a novel Report-auxiliary self-distillation (Rasa) framework for WSI-based survival analysis. First, advanced large language models (LLMs) are utilized to extract fine-grained, WSI-relevant textual descriptions from original noisy pathology reports via a carefully designed task prompt. Next, a self-distillation-based pipeline is designed to filter out irrelevant or redundant WSI features for the student model under the guidance of the teacher model's textual knowledge. Finally, a risk-aware mix-up strategy is incorporated during the training of the student model to enhance both the quantity and diversity of the training data. Extensive experiments carried out on our collected data (CRC) and public data (TCGA-BRCA) demonstrate the superior effectiveness of Rasa against state-of-the-art methods. Our code is available at https://github.com/zhengwang9/Rasa.