BioVFM-21M: Benchmarking and Scaling Self-Supervised Vision Foundation Models for Biomedical Image Analysis

📄 arXiv: 2505.09329v1 📥 PDF

作者: Jiarun Liu, Hong-Yu Zhou, Weijian Huang, Hao Yang, Dongning Song, Tao Tan, Yong Liang, Shanshan Wang

分类: cs.CV, cs.AI

发布日期: 2025-05-14

备注: 11 pages, 4 figures

💡 一句话要点

BioVFM：构建并扩展生物医学图像分析的自监督视觉基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学图像分析 自监督学习 视觉基础模型 大规模数据集 模型扩展

📋 核心要点

  1. 现有医学图像分析方法缺乏对大规模医学视觉基础模型扩展行为的深入理解，限制了性能提升。
  2. 论文通过自监督学习，探索模型大小、训练算法、数据大小和成像模式等因素对医学视觉基础模型的影响。
  3. 实验表明，扩大模型规模能提升性能，但效果因任务而异。提出的BioVFM在多个医学基准上超越现有模型。

📝 摘要（中文）

本文探讨了在开发可扩展的医学视觉基础模型时，模型大小、训练算法、数据大小和成像模式等因素的影响。为了支持可扩展的预训练，作者提出了BioVFM-21M，一个包含多种生物医学图像模态和解剖结构的大规模生物医学图像数据集。研究发现，扩大规模确实能带来好处，但不同任务之间存在差异。进一步的分析揭示了与规模化效益相关的几个因素。最终，作者提出了BioVFM，一个在2100万张生物医学图像上预训练的大规模医学视觉基础模型，并在12个医学基准测试中优于先前的最先进的基础模型。研究结果表明，虽然扩大规模有利于追求更好的性能，但任务特征、数据多样性、预训练方法和计算效率仍然是开发可扩展的医学基础模型的关键考虑因素。

🔬 方法详解

问题定义：现有方法在医学图像领域缺乏对模型和数据规模扩展行为的系统性研究。尽管通用领域的扩展研究取得了显著进展，但医学图像与自然图像存在显著差异，导致通用领域的结论难以直接应用于医学领域。因此，如何有效地扩展医学视觉基础模型，并理解其中的关键因素，成为一个重要的挑战。

核心思路：论文的核心思路是通过大规模的实验研究，探索模型大小、训练算法、数据大小和成像模态等因素对医学视觉基础模型性能的影响。通过构建大规模的生物医学图像数据集BioVFM-21M，并在此数据集上进行自监督预训练，从而获得一个高性能的医学视觉基础模型BioVFM。这种方法旨在通过实证研究，揭示医学图像领域扩展的规律和关键因素。

技术框架：整体框架包括以下几个主要阶段：1) 构建大规模生物医学图像数据集BioVFM-21M，涵盖多种模态和解剖结构；2) 在BioVFM-21M上进行自监督预训练，训练不同大小的模型；3) 在多个医学图像分析基准测试上评估预训练模型的性能；4) 分析不同因素（如模型大小、数据大小、训练算法等）对性能的影响，从而理解扩展行为。

关键创新：论文的关键创新点在于：1) 构建了大规模的生物医学图像数据集BioVFM-21M，为医学视觉基础模型的预训练提供了数据基础；2) 系统性地研究了模型大小、数据大小、训练算法和成像模态等因素对医学视觉基础模型性能的影响，揭示了医学图像领域扩展的规律；3) 提出了高性能的医学视觉基础模型BioVFM，并在多个基准测试中取得了领先的性能。

关键设计：论文的关键设计包括：1) 数据集构建：BioVFM-21M数据集涵盖了多种生物医学图像模态和解剖结构，保证了数据的多样性；2) 自监督预训练：采用合适的自监督学习算法，例如对比学习或掩码图像建模，以有效地利用未标注的医学图像数据；3) 模型架构：选择合适的模型架构，例如Transformer或卷积神经网络，并根据计算资源进行调整；4) 评估指标：选择合适的评估指标，以全面评估预训练模型在不同医学图像分析任务上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BioVFM在12个医学基准测试中优于先前的最先进的基础模型，证明了其有效性。研究还发现，扩大模型和数据规模能够提升性能，但效果因任务而异。此外，数据多样性、预训练方法和计算效率是开发可扩展医学基础模型的关键因素。这些发现为未来医学视觉基础模型的研究提供了重要的指导。

🎯 应用场景

该研究成果可广泛应用于医学图像分析领域，例如疾病诊断、病灶分割、图像配准等。BioVFM作为一个强大的医学视觉基础模型，可以作为下游任务的预训练模型，提高模型的性能和泛化能力。此外，该研究对医学视觉基础模型的扩展行为的理解，可以指导未来医学视觉基础模型的设计和训练，推动医学图像分析技术的发展。

📄 摘要（原文）

Scaling up model and data size have demonstrated impressive performance improvement over a wide range of tasks. Despite extensive studies on scaling behaviors for general-purpose tasks, medical images exhibit substantial differences from natural data. It remains unclear the key factors in developing medical vision foundation models at scale due to the absence of an extensive understanding of scaling behavior in the medical domain. In this paper, we explored the scaling behavior across model sizes, training algorithms, data sizes, and imaging modalities in developing scalable medical vision foundation models by self-supervised learning. To support scalable pretraining, we introduce BioVFM-21M, a large-scale biomedical image dataset encompassing a wide range of biomedical image modalities and anatomies. We observed that scaling up does provide benefits but varies across tasks. Additional analysis reveals several factors correlated with scaling benefits. Finally, we propose BioVFM, a large-scale medical vision foundation model pretrained on 21 million biomedical images, which outperforms the previous state-of-the-art foundation models across 12 medical benchmarks. Our results highlight that while scaling up is beneficial for pursuing better performance, task characteristics, data diversity, pretraining methods, and computational efficiency remain critical considerations for developing scalable medical foundation models.