Weakly Supervised Pathology-Informed Representation Learning for PET-Based Content Retrieval of Intra-Tumour Heterogeneity

📄 arXiv: 2607.18762v1 📥 PDF

作者: Rajat Vashistha, Sandra Brosda, Lauren G. Aoude, Christine Jestin Hannan, James M. Lonie, Jessica Ng, Andrew Nathanson, Ellie Vloedmans, Caroline Cooper, Andrew P. Barbour, Viktor Vegh

分类: cs.CV

发布日期: 2026-07-21

💡 一句话要点

提出弱监督病理信息引导的PET图像检索方法以解决肿瘤异质性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 弱监督学习 PET图像检索 肿瘤异质性 病理信息 教师-学生模型 医学图像处理 热点建模

📋 核心要点

  1. 现有的PET图像检索方法在处理肿瘤内异质性时存在敏感性不足的问题，难以有效区分不同肿瘤区域的特征。
  2. 本文提出了一种结合H&E信息的弱监督学习框架，通过教师-学生策略学习PET体素表示，生成热点条件嵌入以增强检索性能。
  3. 实验结果显示，热点条件表示在检索性能上优于传统的全球PET表示，特别是在肿瘤异质性敏感性方面表现突出。

📝 摘要（中文）

本文提出了一种弱监督的18FFDG PET表示学习框架，用于基于内容的医学图像检索。该方法在训练过程中利用了H&E衍生的信息，同时保持了PET单独推理的能力。通过教师-学生训练策略，学习了PET肿瘤衍生的体素表示，并生成了全球和热点条件的嵌入以及肿瘤内异质性的图谱。实验结果表明，逐步引入病理信息引导的监督和热点建模显著提高了PET检索性能。

🔬 方法详解

问题定义：本文旨在解决现有PET图像检索方法在肿瘤内异质性分析中的不足，特别是对不同肿瘤区域特征的敏感性不足。

核心思路：通过引入H&E衍生的信息，结合弱监督学习，利用教师-学生训练策略来学习PET体素的表示，从而改善对肿瘤异质性的理解和检索能力。

技术框架：整体框架包括数据预处理、教师-学生模型训练、生成热点条件嵌入和评估模块。训练过程中，教师模型负责生成高质量的表示，而学生模型则在此基础上进行优化。

关键创新：最重要的创新在于结合了病理信息与PET图像的弱监督学习，提出了热点条件的表示学习方法，使得模型能够更好地捕捉肿瘤内的异质性特征。

关键设计：采用了逐步消融实验来评估不同监督机制的贡献，使用了多种评估指标（如平均精度、归一化折扣累积增益等）来验证模型性能，同时设计了针对热点的特定损失函数以提升检索效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，逐步引入病理信息引导的监督和热点建模显著提高了PET检索性能。与传统的全球PET表示相比，热点条件表示在检索中表现出更强的灵敏度，平均精度提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在肿瘤影像学和个性化医疗领域。通过提高对肿瘤异质性的理解，医生可以更准确地制定治疗方案，从而改善患者的预后。此外，该方法也可扩展到其他医学图像检索任务中。

📄 摘要（原文）

We propose a weakly supervised 18FFDG PET representation-learning framework for content based medical image retrieval, using H&E derived information during training while preserving PET-only inference. The proposed method was designed to use H&E derived information during training while maintaining PET only inference. A teacher student training strategy was used to learn the PET tumour derived voxel representations, from which global and hotspot conditioned embeddings were generated along with maps of intra tumour heterogeneity in our oesophegeal cancer test case. A progressive ablation strategy was used to evaluate the contribution of different supervision mechanisms. Retrieval performance was assessed across cross-validation folds using metrics including mean average precision, normalised discounted cumulative gain and mean reciprocal rank. Additional analyses evaluated ablation performance, hotspot faithfulness through perturbation/deletion experiments, prototype-specific PET uptake behaviour and indirect patient level concordance between learned PET prototype classes and selected histomic features. Progressive introduction of pathology informed supervision and hotspot modelling improved PET retrieval performance compared with global PET representations and conventional PET baselines. Across the ablation ladder, PET hotspot conditioned representations consistently provided stronger retrieval than global embeddings, indicating that focusing on informative tumour subregions improved sensitivity to intra tumour heterogeneity. Histopathology concordance further showed that the learned classes were not simply high uptake PET regions; instead, they demonstrated distinct heterogeneity in 18F FDG uptake.