KneePreM: Towards 3D Knee MRI Foundation Models via Large-Scale Unlabeled Pretraining and Label-Efficient Fine-Tuning

📄 arXiv: 2609.31461v1 📥 PDF

作者: Xinxin Wang, Liam Hazan, Jing Li, Simona Rabinovici-Cohen, Xiaojuan Li, Mingrui Yang

分类: cs.CV

发布日期: 2026-09-25

💡 一句话要点

提出KneePreM以提高膝关节MRI分类与分割的标签效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 膝关节MRI 自监督学习 3D U-Net 标签效率 医学影像分析 迁移学习 深度学习

📋 核心要点

  1. 现有方法未能充分利用大量未标记的膝关节MRI数据，导致标签效率低下。
  2. KneePreM通过3D自监督学习和标签高效微调，提升了膝关节MRI的分类与分割性能。
  3. 实验结果表明，KneePreM在多项任务中均超越了基线，尤其在数据利用率低的情况下表现突出。

📝 摘要（中文）

背景：大量未标记的膝关节MRI扫描在各个数据库中可用，但尚未得到充分利用。我们开发了KneePreM，一个针对膝关节的3D自监督模型，并评估其在分类和分割任务中的迁移和标签效率。方法：使用来自4791名参与者的19011个未标记的Osteoarthritis Initiative (OAI) MRI系列对3D U-Net掩码自编码器进行预训练。下游微调使用完整和减少的训练集进行fastMRI+两标签分类、关节镜下部分半月板切除术（APM）八目标分类、SKM-TEA分割和APM分割。评估指标包括平衡准确率、F1分数、ROC AUC、PR AUC和Dice分数。结果：KneePreM在fastMRI+和APM的全数据宏ROC AUC上均高于基线（p < .001）。结论：KneePreM在膝关节MRI分类和分割任务中提高了迁移性能和标签效率，尤其在标记训练数据有限时。

🔬 方法详解

问题定义：本研究旨在解决膝关节MRI分类和分割任务中标签效率低的问题。现有方法依赖大量标记数据，难以在数据稀缺的情况下实现良好性能。

核心思路：KneePreM采用3D自监督学习，利用大量未标记的MRI数据进行预训练，以提高模型的迁移能力和标签效率。通过这种方式，模型能够在有限的标记数据上实现更好的学习效果。

技术框架：整体架构包括一个3D U-Net掩码自编码器，首先在未标记数据上进行预训练，然后在多个下游任务上进行微调。微调阶段使用完整和减少的训练集，涵盖不同的分类和分割任务。

关键创新：KneePreM的主要创新在于其自监督学习框架，能够有效利用未标记数据，显著提高了在标记数据稀缺情况下的模型性能，与传统方法相比具有本质区别。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，确保在预训练和微调阶段都能有效捕捉膝关节MRI的特征。同时，使用了多种评估指标来全面评估模型性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

KneePreM在fastMRI+分类任务中使用50%训练数据时，ROC AUC达0.722，超越所有基线；在APM分类中，70%数据的ROC AUC为0.740，匹配全数据随机基线并优于SuPreM。在SKM-TEA分割中，70%数据的Dice为0.838，超过全数据随机基线0.835。

🎯 应用场景

KneePreM的研究成果可广泛应用于医学影像分析，尤其是在膝关节疾病的诊断和治疗中。通过提高MRI数据的利用效率，该模型有潜力在临床实践中减少对标记数据的依赖，提升诊断的准确性和效率。未来，该方法还可扩展到其他医学影像领域，推动自监督学习在医疗影像分析中的应用。

📄 摘要（原文）

Background: Large volumes of unlabeled knee MRI scans are available across repositories but remain insufficiently leveraged. We developed KneePreM, a knee-specific 3D self-supervised model, and evaluated transfer and label efficiency for classification and segmentation. Methods: A 3D U-Net masked autoencoder was pretrained on 19,011 unlabeled Osteoarthritis Initiative (OAI) MRI series from 4,791 participants. Downstream fine-tuning used full and reduced training sets for fastMRI+ two-label classification (1,172 examinations), Arthroscopic Partial Meniscectomy (APM) eight-target classification (1,716 examinations), SKM-TEA segmentation (155 examinations), and APM segmentation (25 examinations). Baselines were random initialization and SuPreM. Deployment workflow was implemented with a Model Context Protocol interface. Evaluation metrics included balanced accuracy, F1 score, ROC AUC, PR AUC, and Dice score. Statistical analysis used bootstrap confidence intervals and paired bootstrap tests for classification and Wilcoxon signed-rank tests for segmentation. Results: KneePreM achieved higher full-data macro ROC AUC than both baselines for fastMRI+ and APM (all p < .001). For fastMRI+ classification, KneePreM achieved a ROC AUC of 0.722 using 50% of the training data, exceeding both full-data baselines. In APM classification, KneePreM reached a ROC AUC of 0.740 with 70% of the data, matching the full-data random baseline and outperforming SuPreM. For SKM-TEA segmentation, its 70%-data Dice of 0.838 exceeded the full-data random baseline (0.835) and both same-budget comparators. In APM segmentation, its 75%-data Dice of 0.746 exceeded the full-data random baseline (0.731) and both same-budget comparators. Conclusion: KneePreM improves transfer performance and label efficiency across knee MRI classification and segmentation tasks, particularly when labeled training data are limited.