HDC: Hierarchical Distillation for Multi-level Noisy Consistency in Semi-Supervised Fetal Ultrasound Segmentation

📄 arXiv: 2504.09876v2 📥 PDF

作者: Tran Quoc Khanh Le, Nguyen Lan Vi Vu, Ha-Hieu Pham, Xuan-Loc Huynh, Tien-Huy Nguyen, Minh Huu Nhat Le, Quan Nguyen, Hien D. Nguyen

分类: cs.CV, cs.AI

发布日期: 2025-04-14 (更新: 2025-04-17)

💡 一句话要点

提出HDC框架，通过分层蒸馏解决半监督胎儿超声图像分割中的噪声一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 半监督学习 胎儿超声分割 分层蒸馏 一致性学习 医学图像分割

📋 核心要点

  1. 宫颈超声图像分割面临低对比度、阴影伪影等挑战，依赖大量标注数据的CNN难以应用。
  2. HDC框架采用单教师架构和分层蒸馏机制，通过自适应一致性学习提升分割性能。
  3. 在FUGC和PSFH数据集上，HDC表现出与多教师模型相当的性能，同时降低了计算成本。

📝 摘要（中文）

经阴道超声是评估宫颈解剖结构和检测生理变化的关键成像方式。然而，由于低对比度、阴影伪影和不清晰的边界，准确分割宫颈结构仍然具有挑战性。卷积神经网络(CNNs)在医学图像分割中表现出有效性，但它们对大规模标注数据集的依赖性限制了其在临床超声成像中的应用。半监督学习(SSL)通过利用未标注数据提供了一种潜在的解决方案，但现有的师生框架经常遇到确认偏差和高计算成本。本文提出了一种新的半监督分割框架，称为HDC，它结合了具有单教师架构的自适应一致性学习。该框架引入了一种具有两个目标的分层蒸馏机制：用于对齐特征表示的相关性引导损失和用于稳定噪声学生学习的互信息损失。所提出的方法降低了模型复杂度，同时增强了泛化能力。在胎儿超声数据集FUGC和PSFH上的实验表明，与多教师模型相比，该方法具有竞争性的性能和更低的计算开销。

🔬 方法详解

问题定义：论文旨在解决半监督胎儿超声图像分割中，由于标注数据有限以及超声图像质量差导致的分割精度不高的问题。现有的Teacher-Student框架在半监督学习中存在确认偏差，并且多教师模型计算成本高昂。

核心思路：论文的核心思路是利用分层蒸馏机制，在单教师架构下，通过相关性引导损失和互信息损失来提高学生模型的学习能力和泛化能力，同时降低计算复杂度。通过分层蒸馏，模型能够更好地学习特征表示，并稳定学生模型的学习过程，从而提高分割精度。

技术框架：HDC框架采用单教师-学生模型架构。教师模型使用全部标注数据进行训练，然后指导学生模型学习。框架包含两个关键模块：相关性引导损失（Correlation Guidance Loss）和互信息损失（Mutual Information Loss）。相关性引导损失用于对齐教师和学生模型的特征表示，互信息损失用于稳定学生模型的学习过程，减少噪声数据的影响。

关键创新：HDC的关键创新在于提出了分层蒸馏机制，并将其应用于单教师半监督学习框架中。与传统的多教师模型相比，HDC降低了计算复杂度，同时通过相关性引导损失和互信息损失，有效地提高了学生模型的学习能力和泛化能力。这种分层蒸馏方法能够更好地利用未标注数据，提高分割精度。

关键设计：相关性引导损失通过计算教师和学生模型特征图之间的相关性，并最小化它们之间的差异来实现特征对齐。互信息损失通过最大化学生模型输出的不确定性来稳定学习过程，减少噪声数据的影响。具体而言，相关性引导损失采用余弦相似度来衡量特征图之间的相关性。互信息损失采用熵来衡量输出的不确定性。网络结构方面，论文采用U-Net作为基础分割网络，并在此基础上进行改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HDC框架在FUGC和PSFH胎儿超声数据集上进行了评估，实验结果表明，HDC在分割精度上与多教师模型具有竞争性，同时显著降低了计算开销。具体性能数据未知，但论文强调了HDC在半监督学习框架下的有效性和效率。

🎯 应用场景

该研究成果可应用于胎儿超声图像的自动宫颈分割，辅助医生进行宫颈长度测量和早产风险评估。该方法降低了对大量标注数据的依赖，有望推广到其他医学图像分割任务中，例如器官分割、病灶检测等，具有重要的临床应用价值。

📄 摘要（原文）

Transvaginal ultrasound is a critical imaging modality for evaluating cervical anatomy and detecting physiological changes. However, accurate segmentation of cervical structures remains challenging due to low contrast, shadow artifacts, and indistinct boundaries. While convolutional neural networks (CNNs) have demonstrated efficacy in medical image segmentation, their reliance on large-scale annotated datasets presents a significant limitation in clinical ultrasound imaging. Semi-supervised learning (SSL) offers a potential solution by utilizing unlabeled data, yet existing teacher-student frameworks often encounter confirmation bias and high computational costs. In this paper, a novel semi-supervised segmentation framework, called HDC, is proposed incorporating adaptive consistency learning with a single-teacher architecture. The framework introduces a hierarchical distillation mechanism with two objectives: Correlation Guidance Loss for aligning feature representations and Mutual Information Loss for stabilizing noisy student learning. The proposed approach reduces model complexity while enhancing generalization. Experiments on fetal ultrasound datasets, FUGC and PSFH, demonstrate competitive performance with reduced computational overhead compared to multi-teacher models.