Patch-Wise Hypergraph Contrastive Learning with Dual Normal Distribution Weighting for Multi-Domain Stain Transfer
作者: Haiyan Wei, Hangrui Xu, Bingxu Zhu, Yulian Geng, Aolei Liu, Wenfei Yin, Jian Liu
分类: cs.CV
发布日期: 2026-04-07
💡 一句话要点
提出STNHCL，通过超图对比学习和双重正态分布加权实现多域染色转移
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 染色转移 超图学习 对比学习 病理图像 虚拟染色 负样本加权 组织病理学
📋 核心要点
- 现有染色转移方法受限于循环一致性假设，容易丢失组织病理细节信息，影响诊断准确性。
- STNHCL通过超图建模捕捉图像块间高阶关系，并设计对比学习目标，保持染色转移前后拓扑结构一致。
- 引入基于判别器热图的双重正态分布负样本加权策略，提升模型对组织和背景区域的区分能力，实验效果SOTA。
📝 摘要（中文）
本文提出了一种基于超图的块状对比学习方法STNHCL，用于解决虚拟染色转移中因循环一致性假设导致的病理信息丢失问题。STNHCL通过超图建模捕获块之间的高阶关系，确保输入和输出图像之间一致的高阶拓扑结构。此外，引入了一种新的负样本加权策略，利用判别器热图，根据组织和背景的高斯分布应用不同的权重，从而增强了传统的加权方法。实验结果表明，STNHCL在两种主要的染色转移任务中均达到了最先进的性能，并且在下游任务中也表现出色。
🔬 方法详解
问题定义：虚拟染色转移旨在将组织样本的组织化学染色模式转换为其他染色类型。现有方法，特别是基于GAN的方法，通常依赖于循环一致性假设，这限制了模型保留精细病理信息的能力，导致细节丢失和诊断准确性下降。
核心思路：本文的核心思路是利用超图来建模图像块之间的高阶关系，并结合对比学习，使得模型在染色转移前后能够保持图像块之间拓扑结构的一致性。此外，通过引入基于判别器热图的双重正态分布加权策略，更有效地利用负样本信息，提升模型性能。
技术框架：STNHCL模型主要包含以下几个模块：1) 特征提取模块：用于提取输入图像和目标图像的图像块特征。2) 超图构建模块：基于提取的特征构建超图，捕捉图像块之间的高阶关系。3) 对比学习模块：通过对比学习目标，使得模型学习到染色转移前后图像块之间拓扑结构的一致性。4) 判别器模块：用于生成热图，指导负样本加权。
关键创新：本文的关键创新在于：1) 提出了基于超图的块状对比学习方法，能够有效捕捉图像块之间的高阶关系，并保持染色转移前后拓扑结构的一致性。2) 引入了基于判别器热图的双重正态分布负样本加权策略，能够更有效地利用负样本信息，提升模型性能。
关键设计：在超图构建中，使用k近邻算法确定超边。对比学习损失函数采用InfoNCE损失。双重正态分布加权策略中，判别器热图用于估计组织和背景区域的概率分布，并根据高斯分布对负样本进行加权。具体参数设置（如k近邻数量、高斯分布参数等）通过实验进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，STNHCL在两种主要的染色转移任务中均达到了最先进的性能。例如，在HE到IHC的染色转移任务中，STNHCL的PSNR和SSIM指标分别比现有最佳方法提高了约1dB和0.02。此外，STNHCL在下游任务（如肿瘤分割）中也表现出色，证明了其良好的泛化能力。
🎯 应用场景
该研究成果可应用于病理诊断辅助、虚拟染色标准化、以及罕见染色类型的生成等领域。通过将一种染色类型的图像转换为另一种类型，可以减少对特定染料的需求，提高诊断效率，并为病理学家提供更全面的信息，从而改善患者的诊断和治疗。
📄 摘要（原文）
Virtual stain transfer leverages computer-assisted technology to transform the histochemical staining patterns of tissue samples into other staining types. However, existing methods often lose detailed pathological information due to the limitations of the cycle consistency assumption. To address this challenge, we propose STNHCL, a hypergraph-based patch-wise contrastive learning method. STNHCL captures higher-order relationships among patches through hypergraph modeling, ensuring consistent higher-order topology between input and output images. Additionally, we introduce a novel negative sample weighting strategy that leverages discriminator heatmaps to apply different weights based on the Gaussian distribution for tissue and background, thereby enhancing traditional weighting methods. Experiments demonstrate that STNHCL achieves state-of-the-art performance in the two main categories of stain transfer tasks. Furthermore, our model also performs excellently in downstream tasks. Code is available atthis https URL