Multimodal Posterior Sampling-based Uncertainty in PD-L1 Segmentation from H&E Images

📄 arXiv: 2511.11486v1 📥 PDF

作者: Roman Kinakh, Gonzalo R. Ríos-Muñoz, Arrate Muñoz-Barrutia

分类: cs.CV, q-bio.QM

发布日期: 2025-11-14

备注: Preprint (pre-review). Accepted for publication in Lecture Notes in Bioinformatics (Springer, 2025). The final authenticated version will be available on SpringerLink once published

💡 一句话要点

提出基于多模态后验采样的nnUNet-B，用于H&E图像PD-L1分割及不确定性估计。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: PD-L1分割 H&E图像 深度学习 不确定性估计 多模态后验采样

📋 核心要点

  1. 免疫组化方法评估PD-L1表达耗时耗力，限制了免疫疗法的广泛应用。
  2. 利用多模态后验采样，从H&E图像直接预测PD-L1表达，并估计分割结果的不确定性。
  3. 在肺鳞状细胞癌数据集上，该方法达到与基线相当的分割精度，并提供像素级不确定性估计。

📝 摘要（中文）

准确评估PD-L1表达对于指导免疫疗法至关重要，但目前的免疫组化（IHC）方法耗费资源。我们提出了nnUNet-B：一个贝叶斯分割框架，它使用多模态后验采样（MPS）直接从H&E染色组织学图像中推断PD-L1表达。我们的方法建立在nnUNet-v2之上，在循环训练期间对不同的模型检查点进行采样以近似后验分布，从而实现准确的分割，并通过熵和标准差进行认知不确定性估计。在肺鳞状细胞癌数据集上的评估表明，我们的方法在平均Dice Score和平均IoU分别为0.805和0.709的情况下，实现了与现有基线方法具有竞争力的性能，同时提供了像素级不确定性图。不确定性估计与分割误差显示出很强的相关性，但校准仍不完善。这些结果表明，基于H&E的、具有不确定性意识的PD-L1预测是临床工作流程中可扩展、可解释的生物标志物评估的有希望的一步。

🔬 方法详解

问题定义：该论文旨在解决从H&E染色图像中准确分割PD-L1表达区域的问题。现有方法，如基于IHC的方法，成本高昂且耗时，限制了其大规模应用。因此，需要一种更高效、经济的方法来预测PD-L1表达。

核心思路：该论文的核心思路是利用深度学习模型直接从H&E图像中学习PD-L1表达的特征，并使用贝叶斯方法估计分割结果的不确定性。通过对模型后验分布进行采样，可以获得多个不同的分割结果，从而评估模型的不确定性。这种方法可以提高分割结果的可靠性，并为临床决策提供更多信息。

技术框架：该方法基于nnUNet-v2框架，并引入了多模态后验采样（MPS）策略。整体流程包括：1）使用nnUNet-v2进行初始训练；2）在循环训练过程中，定期保存模型检查点；3）使用保存的多个模型检查点对同一图像进行分割，得到多个分割结果；4）计算分割结果的熵和标准差，作为像素级不确定性的度量。

关键创新：该论文的关键创新在于将多模态后验采样应用于PD-L1分割任务，并利用不确定性估计来提高分割结果的可靠性。与传统的点估计方法相比，该方法可以提供更全面的分割结果信息，并有助于识别分割错误。

关键设计：该方法使用nnUNet-v2作为基础分割模型，并采用循环训练策略来生成多个模型检查点。不确定性估计通过计算分割结果的熵和标准差来实现。具体参数设置和损失函数与nnUNet-v2保持一致。循环训练的周期和保存检查点的频率是需要调整的关键参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在肺鳞状细胞癌数据集上取得了具有竞争力的分割性能，平均Dice Score和平均IoU分别为0.805和0.709。更重要的是，该方法能够提供像素级不确定性估计，并且不确定性估计与分割误差显示出很强的相关性，表明该方法能够有效识别分割错误。

🎯 应用场景

该研究成果可应用于临床病理诊断，辅助医生进行PD-L1表达评估，从而指导免疫治疗方案的制定。通过降低对IHC的依赖，可以降低诊断成本，提高诊断效率，并为大规模PD-L1筛查提供可能。该方法还可推广到其他生物标志物的预测和分割任务中。

📄 摘要（原文）

Accurate assessment of PD-L1 expression is critical for guiding immunotherapy, yet current immunohistochemistry (IHC) based methods are resource-intensive. We present nnUNet-B: a Bayesian segmentation framework that infers PD-L1 expression directly from H&E-stained histology images using Multimodal Posterior Sampling (MPS). Built upon nnUNet-v2, our method samples diverse model checkpoints during cyclic training to approximate the posterior, enabling both accurate segmentation and epistemic uncertainty estimation via entropy and standard deviation. Evaluated on a dataset of lung squamous cell carcinoma, our approach achieves competitive performance against established baselines with mean Dice Score and mean IoU of 0.805 and 0.709, respectively, while providing pixel-wise uncertainty maps. Uncertainty estimates show strong correlation with segmentation error, though calibration remains imperfect. These results suggest that uncertainty-aware H&E-based PD-L1 prediction is a promising step toward scalable, interpretable biomarker assessment in clinical workflows.