Which Pretext Task Transfers? Self-Supervised Pretraining Objectives for Lung Ultrasound

📄 arXiv: 2609.16551v1 📥 PDF

作者: Moein Heidari, Junbo Rao, Jai Choraria, Wenjin Chen, David J. Foran, Ilker Hacihaliloglu

分类: cs.CV

发布日期: 2026-09-15

备注: Submitted to SPIE 2027

🔗 代码/项目: GITHUB

💡 一句话要点

比较三种自监督预训练目标以优化肺部超声图像分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 肺部超声 对比学习 掩蔽重建 联合嵌入预测 医学影像分析 迁移学习

📋 核心要点

  1. 现有方法在选择自监督学习目标时缺乏一致性，导致不同数据集间的迁移效果不佳。
  2. 本文提出在相同条件下比较对比学习、掩蔽重建和JEPA三种自监督目标，以明确最佳迁移目标。
  3. 实验结果显示，在不同数据集上，MoCo和VideoMAE的表现存在显著差异，提示迁移学习的复杂性。

📝 摘要（中文）

自监督学习（SSL）可以减少对标注医学图像的需求，但针对肺部超声（LUS）的预训练目标选择仍不明确。本文比较了对比学习、掩蔽重建和联合嵌入预测架构（JEPA）三种目标，使用相同的编码器骨干、预训练语料、优化计划和冻结评估协议。编码器在COVID-BLUeS LUS视频上进行预训练，并在不同标签预算下进行评估。结果显示，POCUS下VideoMAE和V-JEPA在全标签预算下的平衡准确率分别为66.5%和65.4%，而MoCo为42.1%。在Mendeley-Uganda数据集上，MoCo表现最佳，准确率为62.7%。这些结果表明，POCUS探针准确率并不能单独识别最佳迁移目标。

🔬 方法详解

问题定义：本文旨在解决肺部超声图像分析中自监督学习目标选择不明确的问题。现有研究在不同数据集和评估协议下比较不同目标，缺乏一致性和可比性。

核心思路：通过在相同的编码器骨干、预训练语料和评估协议下比较三种自监督学习目标，旨在找出最适合肺部超声的预训练目标，从而提高模型的迁移能力。

技术框架：研究采用了对比学习、掩蔽重建和JEPA三种目标，使用COVID-BLUeS LUS视频进行预训练，并在POCUS和Mendeley-Uganda数据集上进行评估。评估采用线性探测、kNN和注意力探测器。

关键创新：本文的创新在于系统性地比较了三种自监督学习目标在相同条件下的表现，揭示了不同目标在不同数据集上的迁移能力差异，挑战了以往研究的结论。

关键设计：在实验中，采用了相同的优化计划和冻结评估协议，设置了不同的标签预算（5%、10%、50%、100%），并使用五折交叉验证进行评估。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在POCUS数据集上，VideoMAE和V-JEPA在全标签预算下的平衡准确率分别为66.5%和65.4%，而MoCo为42.1%。在Mendeley-Uganda数据集上，MoCo表现最佳，准确率为62.7%。这些结果表明，不同数据集间的迁移效果存在显著差异，提示研究者在选择自监督学习目标时需谨慎。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、肺部疾病诊断和超声图像处理。通过优化自监督学习目标选择，可以提高模型在临床数据上的表现，进而提升医疗决策的准确性和效率。未来，该方法可能扩展到其他医学影像领域，推动自监督学习在医疗中的应用。

📄 摘要（原文）

Self-supervised learning (SSL) can reduce the need for labelled medical images, but the choice of pretext objective remains unclear for lung ultrasound (LUS). Contrastive learning, masked reconstruction, and joint-embedding predictive architectures (JEPA) differ in the space in which their targets are defined, yet existing ultrasound studies compare them under different corpora, backbones, and evaluation protocols. We compare these three objective families using the same encoder backbone, pretraining corpus, optimisation schedule, and frozen-evaluation protocol. Encoders are pretrained on COVID-BLUeS LUS videos and evaluated with linear, $k$NN, and attentive probes at 5\%, 10\%, 50\%, and 100\% label budgets. Evaluation is performed on POCUS using patient-level five-fold cross-validation and on the independently acquired Mendeley-Uganda dataset, which is excluded from both pretraining and probe fitting. At the full label budget under linear probing, VideoMAE and V-JEPA achieve $66.5 \pm 13.1$ and $65.4 \pm 11.7$ balanced accuracy on POCUS, while MoCo achieves $42.1 \pm 1.2$. On Mendeley-Uganda, the ranking reverses: MoCo performs best at $62.7 \pm 1.0$, followed by VideoMAE at $53.8 \pm 2.8$, while V-JEPA falls near chance at $35.1 \pm 4.9$. These results show that POCUS probe accuracy alone does not identify the objective that transfers best across datasets. We also outline planned representation-level analyses to examine this reversal. Code is publicly available at https://github.com/moeinheidari7829/LUSVideoSSL.