Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation
作者: Jiaqi Tang, Yu Wang, Yang Liu, Jing Tao, Fandong Zhang, Zhou Zhen, Xiahai Zhuang, Qingchao Chen, Yining Yang, Yizhou Yu
分类: cs.CV, cs.AI
发布日期: 2026-10-13
💡 一句话要点
提出统一基准以评估自监督3D医学视觉基础模型的迁移能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 3D医学视觉 模型评估 迁移学习 基准化 InsightRank 医学影像分析
📋 核心要点
- 现有的自监督3D医学模型评估缺乏统一标准，导致不同模型在不同任务上的表现难以直接比较。
- 本文提出了一种基准化方法，通过在相同任务上评估多个模型，提供了更具可比性的结果，并引入了InsightRank来优化微调过程。
- 实验结果显示，InsightRank在分割任务中的Kendall tau-b均值为0.431，显著提高了模型选择的效率，缩短了训练时间。
📝 摘要（中文）
自监督预训练扩展了3D医学基础模型的范围，但现有评估使用不同的数据集、指标和微调协议，导致模型间缺乏可比性。本文基准化了23个候选模型在14个分割、分类和回归任务上的表现，发现没有模型在所有任务中均排名前三。通过对比迁移能力估计器与微调排名，提出InsightRank方法，以任务适应的特征统计和架构感知的成对比较来优先选择微调模型。基准结果为模型选择提供了共同参考，InsightRank则提供了一种低成本的微调优先级方法。
🔬 方法详解
问题定义：本文旨在解决自监督3D医学视觉模型评估标准不统一的问题。现有方法在不同数据集和任务上评估，导致模型间的可比性不足。
核心思路：通过基准化23个候选模型在相同任务上的表现，提供一个统一的参考框架。同时，提出InsightRank方法，利用特征统计和架构感知的比较来优化模型选择。
技术框架：整体架构包括模型基准评估和迁移能力估计两个主要模块。首先在14个任务上评估模型表现，然后使用InsightRank对模型进行优先级排序。
关键创新：InsightRank是本文的核心创新，利用任务适应的特征统计和成对比较方法，提供了一种低成本的模型微调优先级选择方式，与传统方法相比具有更高的效率和准确性。
关键设计：在模型评估中，使用Kendall tau-b作为排名一致性指标，设置了多种任务的评估标准，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InsightRank在分割任务中的Kendall tau-b均值为0.431，分类和回归任务为0.352。通过三模型短名单，训练时间减少了85.8%。这些结果表明，InsightRank在模型选择和微调效率上具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、疾病诊断和个性化医疗等。通过提供统一的模型评估基准，研究者和临床医生可以更有效地选择适合特定任务的模型，从而提高医疗决策的准确性和效率。未来，该方法可能推动自监督学习在医学领域的更广泛应用。
📄 摘要（原文）
Self-supervised pretraining has expanded the pool of 3D medical foundation models, but published evaluations use different datasets, endpoints and fine-tuning protocols. Models also differ in architecture, pretraining objective and data, while downstream targets range from voxel-level masks to patient-level diagnoses and outcomes. As a result, published findings provide little directly comparable evidence for choosing a model for a new task. Direct comparison of adaptation performance requires fine-tuning candidates on labelled target data, at substantial computational cost. We benchmark 23 candidates across the same 14 segmentation, classification and regression tasks spanning multiple anatomies and modalities. No candidate ranked among the top three across all segmentation tasks or across all classification and regression tasks; a convolutional encoder could outperform a transformer trained with the same objective on one task but underperform it on another. We benchmark transferability estimators against the fine-tuned rankings and find that their agreement varies across dense segmentation, classification and regression. InsightRank uses task-appropriate frozen-feature statistics and architecture-aware pairwise comparisons to rank candidates before fine-tuning. Across the 23-model pool, mean Kendall tau-b was 0.431 for segmentation and 0.352 for classification and regression. The segmentation Top 3 contained a task winner on four of nine tasks; the image-level Top 3 contained none on the five tasks, despite better full-ranking agreement than the matched conventional estimators. A three-model shortlist reduced recorded extraction-plus-training job time by 85.8% across seven segmentation tasks. Together, the benchmark provides a common reference for model selection and InsightRank offers a lower-cost way to prioritize fine-tuning, with shortlist performance that differs by target type.