Towards Better Ultrasound Video Segmentation Foundation Model: An Empirical study on SAM2 Finetuning from Data Perspective
作者: Xing Yao, Ahana Gangopadhyay, Hsi-Ming Chang, Ravi Soni
分类: cs.CV
发布日期: 2025-11-07
💡 一句话要点
针对超声视频分割，研究数据特性对SAM2微调的影响，提升分割性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超声视频分割 SAM2微调 数据增强 医学影像分析 深度学习 数据驱动 多任务学习
📋 核心要点
- 超声视频分割面临数据集差异大、伪影多、标注数据少等挑战，现有方法在迁移到医学图像领域时性能显著下降。
- 论文以数据为中心，系统研究训练集大小、视频时长、数据增强等因素对SAM2微调性能的影响，探索更有效的数据利用策略。
- 实验表明，数据规模和时间上下文比模型架构更关键，联合训练可在模态对齐和任务特化间取得平衡，为超声视频分析提供指导。
📝 摘要（中文）
超声(US)视频分割由于数据集间和数据集内的强变异性、运动伪影以及有限的标注数据，仍然是一个具有挑战性的问题。虽然Segment Anything Model 2 (SAM2)等基础模型展示了强大的零样本和提示引导的分割能力，但当迁移到医学成像领域时，其性能会大幅下降。目前的研究主要强调架构修改，而数据特征和训练方案的影响尚未得到系统地检验。本研究对SAM2在超声视频分割中的应用进行了全面的、以数据为中心的调查。我们分析了在三种范式（特定任务微调、中间适应和多任务联合训练）下，训练集大小、视频时长和增强方案如何影响适应性能，涵盖五种SAM2变体和多种提示模式。我们进一步设计了六种超声特异性增强，评估了它们相对于通用策略的效果。在三个代表性超声数据集上的实验表明，数据规模和时间上下文比模型架构或初始化起着更决定性的作用。此外，联合训练为模态对齐和任务专业化提供了一个有效的折衷方案。这项工作旨在为开发用于超声视频分析的SAM2的高效、数据感知的适应管道提供经验性见解。
🔬 方法详解
问题定义：论文旨在解决超声视频分割中，由于数据特性（如数据集差异、运动伪影、标注数据有限）导致现有方法（特别是直接应用预训练的SAM2）性能不佳的问题。现有方法主要集中在模型架构的修改，忽略了数据本身的影响，缺乏对数据特性与模型性能之间关系的系统性研究。
核心思路：论文的核心思路是以数据为中心，通过系统性地分析不同数据特征（训练集大小、视频时长）和数据增强策略对SAM2微调性能的影响，从而找到更有效的数据利用方式，提升SAM2在超声视频分割任务上的性能。论文强调数据规模和时间上下文的重要性，并探索联合训练策略以平衡模态对齐和任务特化。
技术框架：论文采用实验驱动的研究方法，主要包含以下几个阶段：1) 选择SAM2的多个变体作为基础模型；2) 在三个代表性的超声数据集上进行实验；3) 采用三种微调范式：特定任务微调、中间适应和多任务联合训练；4) 设计并评估六种超声特异性数据增强策略；5) 分析训练集大小、视频时长等数据特征对模型性能的影响。
关键创新：论文的关键创新在于：1) 首次以数据为中心，系统性地研究了数据特征对SAM2在超声视频分割任务上微调性能的影响；2) 提出了超声特异性的数据增强策略，并验证了其有效性；3) 探索了多任务联合训练策略，为模态对齐和任务特化提供了一种有效的平衡方案。与现有方法相比，论文更关注数据本身的作用，而非仅仅依赖模型架构的修改。
关键设计：论文的关键设计包括：1) 选择了五种SAM2变体，以评估模型架构的影响；2) 设计了六种超声特异性数据增强策略，例如模拟超声伪影的增强；3) 采用了三种微调范式，以探索不同的训练策略；4) 详细记录并分析了不同数据特征（训练集大小、视频时长）下的模型性能，从而揭示数据特征与模型性能之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，数据规模和时间上下文对SAM2在超声视频分割任务上的性能影响显著，超过了模型架构本身的影响。例如，增加训练数据量可以显著提升分割精度。此外，多任务联合训练在平衡模态对齐和任务特化方面表现出色。超声特异性数据增强策略也优于通用数据增强策略。
🎯 应用场景
该研究成果可应用于多种超声医学影像分析任务，例如胎儿超声图像分割、心脏超声图像分割、血管超声图像分割等。通过更有效地利用数据，提升分割精度，可以辅助医生进行更准确的诊断和治疗，具有重要的临床应用价值。未来，该研究思路可以推广到其他医学影像模态，促进医学影像分析的智能化发展。
📄 摘要（原文）
Ultrasound (US) video segmentation remains a challenging problem due to strong inter- and intra-dataset variability, motion artifacts, and limited annotated data. Although foundation models such as Segment Anything Model 2 (SAM2) demonstrate strong zero-shot and prompt-guided segmentation capabilities, their performance deteriorates substantially when transferred to medical imaging domains. Current adaptation studies mainly emphasize architectural modifications, while the influence of data characteristics and training regimes has not been systematically examined. In this study, we present a comprehensive, data-centric investigation of SAM2 adaptation for ultrasound video segmentation. We analyze how training-set size, video duration, and augmentation schemes affect adaptation performance under three paradigms: task-specific fine-tuning, intermediate adaptation, and multi-task joint training, across five SAM2 variants and multiple prompting modes. We further design six ultrasound-specific augmentations, assessing their effect relative to generic strategies. Experiments on three representative ultrasound datasets reveal that data scale and temporal context play a more decisive role than model architecture or initialization. Moreover, joint training offers an efficient compromise between modality alignment and task specialization. This work aims to provide empirical insights for developing efficient, data-aware adaptation pipelines for SAM2 in ultrasound video analysis.