Using Foundation Models as Pseudo-Label Generators for Pre-Clinical 4D Cardiac CT Segmentation
作者: Anne-Marie Rickmann, Stephanie L. Thorn, Shawn S. Ahn, Supum Lee, Selen Uman, Taras Lysyy, Rachel Burns, Nicole Guerrera, Francis G. Spinale, Jason A. Burdick, Albert J. Sinusas, James S. Duncan
分类: cs.CV
发布日期: 2025-05-14
备注: accepted at FIMH 2025
💡 一句话要点
利用预训练模型生成伪标签，用于临床前4D心脏CT分割。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心脏CT分割 伪标签 自训练 预训练模型 临床前研究
📋 核心要点
- 临床前猪心脏CT分割面临物种间差异导致的领域偏移问题，直接应用人类数据训练的模型效果不佳。
- 提出一种基于预训练模型的自训练方法，无需手动标注猪数据，通过迭代优化伪标签提高分割质量。
- 实验表明，该方法不仅提高了分割精度，还减少了时间上的不一致性，但仍有进一步提升空间。
📝 摘要（中文）
心脏图像分割是诸多心脏图像分析和建模任务的关键步骤，例如运动追踪或心脏力学模拟。尽管深度学习显著提升了临床环境下的分割效果，但在临床前成像领域，特别是猪模型中，相关研究仍然有限。猪模型因其与人类在解剖和生理上的相似性而被广泛使用。然而，物种间的差异导致了领域偏移，使得直接将人类数据训练的模型迁移到猪数据上变得困难。最近，在大规模人类数据集上训练的预训练模型在医学图像分割方面展现出潜力；然而，它们在猪数据上的适用性仍未得到充分探索。本文研究了预训练模型是否能为猪心脏CT生成足够精确的伪标签，并提出了一种简单的自训练方法来迭代优化这些标签。该方法无需手动标注的猪数据，而是依赖于迭代更新来提高分割质量。实验结果表明，这种自训练过程不仅提高了分割精度，还平滑了连续帧之间的时间不一致性。尽管结果令人鼓舞，但仍有改进空间，例如，可以结合更复杂的自训练策略，并探索更多的预训练模型和其他心脏成像技术。
🔬 方法详解
问题定义：论文旨在解决临床前猪心脏CT图像的精确分割问题。现有方法，特别是直接迁移在人类数据上训练的深度学习模型，由于猪和人类心脏在解剖结构上的差异，存在显著的性能下降。手动标注猪心脏CT数据成本高昂，限制了模型的训练和应用。
核心思路：论文的核心思路是利用在大量人类医学图像上预训练的Foundation Model（基础模型）生成猪心脏CT图像的伪标签，然后通过自训练的方式迭代优化这些伪标签，从而提高分割精度。这种方法避免了对大量猪心脏CT图像进行手动标注的需求。
技术框架：该方法主要包含以下几个阶段：1) 使用预训练的Foundation Model对猪心脏CT图像进行初始分割，生成伪标签。2) 使用生成的伪标签训练分割模型。3) 使用训练好的分割模型重新分割猪心脏CT图像，生成更精确的伪标签。4) 重复步骤2和3，进行迭代自训练，逐步提高分割精度。
关键创新：该方法的关键创新在于利用预训练的Foundation Model作为伪标签生成器，并结合自训练策略，实现了在缺乏标注数据的情况下对临床前猪心脏CT图像进行有效分割。与传统的监督学习方法相比，该方法大大降低了标注成本，并能够利用预训练模型中蕴含的丰富先验知识。
关键设计：论文中没有明确说明具体的网络结构、损失函数和参数设置。但是，自训练的迭代次数是一个关键参数，需要根据实验结果进行调整。此外，如何选择合适的预训练模型以及如何设计有效的自训练策略也是影响分割性能的关键因素。未来的工作可以探索不同的预训练模型，并尝试更复杂的自训练方法，例如引入一致性正则化或对抗训练等。
🖼️ 关键图片
📊 实验亮点
该研究表明，利用预训练模型生成的伪标签，通过自训练可以有效提高猪心脏CT图像的分割精度。虽然论文中没有给出具体的性能数据，但强调了自训练过程不仅提高了分割精度，还平滑了连续帧之间的时间不一致性。这表明该方法在处理4D心脏CT数据时具有优势。
🎯 应用场景
该研究成果可应用于临床前心脏研究，例如评估新型心脏介入治疗方法的效果、研究心脏疾病的发生发展机制等。通过精确分割心脏结构，可以进行更准确的心脏力学建模和仿真，为心脏疾病的诊断和治疗提供更可靠的依据。此外，该方法也为其他缺乏标注数据的医学图像分割任务提供了借鉴。
📄 摘要（原文）
Cardiac image segmentation is an important step in many cardiac image analysis and modeling tasks such as motion tracking or simulations of cardiac mechanics. While deep learning has greatly advanced segmentation in clinical settings, there is limited work on pre-clinical imaging, notably in porcine models, which are often used due to their anatomical and physiological similarity to humans. However, differences between species create a domain shift that complicates direct model transfer from human to pig data. Recently, foundation models trained on large human datasets have shown promise for robust medical image segmentation; yet their applicability to porcine data remains largely unexplored. In this work, we investigate whether foundation models can generate sufficiently accurate pseudo-labels for pig cardiac CT and propose a simple self-training approach to iteratively refine these labels. Our method requires no manually annotated pig data, relying instead on iterative updates to improve segmentation quality. We demonstrate that this self-training process not only enhances segmentation accuracy but also smooths out temporal inconsistencies across consecutive frames. Although our results are encouraging, there remains room for improvement, for example by incorporating more sophisticated self-training strategies and by exploring additional foundation models and other cardiac imaging technologies.