Triad: Vision Foundation Model for 3D Magnetic Resonance Imaging
作者: Shansong Wang, Mojtaba Safari, Qiang Li, Chih-Wei Chang, Richard LJ Qiu, Justin Roper, David S. Yu, Xiaofeng Yang
分类: cs.CV, cs.AI
发布日期: 2025-02-19 (更新: 2025-02-23)
💡 一句话要点
Triad：用于3D磁共振成像的视觉基础模型，提升医学影像分析性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉基础模型 3D磁共振成像 医学影像分析 自编码器 预训练
📋 核心要点
- 现有视觉基础模型主要基于CT数据预训练，与MRI数据存在差异，限制了其在MRI应用中的性能。
- Triad通过在大量3D MRI数据上预训练自编码器，并结合器官独立的成像描述，学习鲁棒的MRI表示。
- 实验表明，Triad在器官分割、分类和配准等任务上，相比从头训练的模型，性能显著提升。
📝 摘要（中文）
视觉基础模型(VFMs)通过在大量图像数据集上预训练，学习适用于各种数据的通用表示。这些模型可以针对特定的下游任务进行微调，从而显著提高各种应用中的性能。然而，现有的声称适用于各种临床任务的视觉基础模型主要是在3D计算机断层扫描(CT)上进行预训练的，这得益于大量3D CT数据库的可用性。CT和磁共振成像(MRI)在成像原理、信号特征和数据分布方面的显著差异可能会阻碍它们在MRI特定应用中的实际性能和通用性。本文提出了Triad，一个用于3D MRI的视觉基础模型。Triad采用广泛使用的自编码器架构，从131,170个3D MRI体数据中学习鲁棒的表示，并使用器官独立的成像描述来约束视觉模态的语义分布。上述预训练数据集被称为Triad-131K，是目前最大的3D MRI预训练数据集。我们在两个数据模态(域内和域外)设置中使用25个下游数据集，在三个任务(即器官/肿瘤分割、器官/癌症分类和医学图像配准)中评估Triad。通过使用Triad的预训练权重初始化模型，nnUNet-Triad在17个数据集上的分割性能比nnUNet-Scratch提高了2.51%。Swin-B-Triad在五个数据集上的分类任务中比Swin-B-Scratch提高了3.97%。SwinUNETR-Triad在两个数据集上的配准任务中比SwinUNETR-Scratch提高了4.00%。研究表明，当上游和下游任务的数据模态和器官一致时，预训练可以提高性能。
🔬 方法详解
问题定义：现有视觉基础模型主要在CT图像上进行预训练，而CT与MRI在成像原理和数据分布上存在较大差异，导致这些模型在MRI相关任务上的性能受限。因此，需要一个专门针对MRI数据进行预训练的视觉基础模型，以提升MRI图像分析任务的性能。
核心思路：论文的核心思路是构建一个基于大量3D MRI数据预训练的视觉基础模型Triad。通过自编码器学习MRI数据的通用表示，并利用器官独立的成像描述来约束视觉模态的语义分布，从而使模型能够更好地理解和处理MRI数据。
技术框架：Triad采用自编码器架构，包括编码器和解码器。编码器将3D MRI体数据映射到低维潜在空间，解码器则从潜在空间重建原始图像。预训练过程旨在最小化重建误差，从而使模型学习到MRI数据的内在结构和特征。同时，引入器官独立的成像描述，以约束潜在空间的语义分布，提高模型的泛化能力。
关键创新：Triad的关键创新在于构建了目前最大的3D MRI预训练数据集Triad-131K，并利用该数据集训练了一个专门针对MRI数据的视觉基础模型。此外，引入器官独立的成像描述来约束视觉模态的语义分布，进一步提升了模型的性能。
关键设计：Triad使用标准的自编码器结构，具体网络结构（如卷积层数、滤波器大小等）未知。损失函数主要为重建误差，可能使用了L1或L2损失。器官独立的成像描述的具体实现方式未知，但其目的是为了约束潜在空间的语义分布，可能通过额外的损失函数或正则化项来实现。
🖼️ 关键图片
📊 实验亮点
Triad在多个下游任务上取得了显著的性能提升。例如，在器官分割任务中，nnUNet-Triad相比于nnUNet-Scratch，在17个数据集上平均提高了2.51%的分割性能。在分类任务中，Swin-B-Triad相比于Swin-B-Scratch，在5个数据集上平均提高了3.97%的分类准确率。在配准任务中，SwinUNETR-Triad相比于SwinUNETR-Scratch，在2个数据集上平均提高了4.00%的配准精度。这些结果表明，Triad能够有效地提升MRI图像分析任务的性能。
🎯 应用场景
Triad在医学影像分析领域具有广泛的应用前景，可用于辅助医生进行疾病诊断、治疗方案制定和疗效评估。例如，可以应用于肿瘤分割、器官分类、图像配准等任务，提高诊断的准确性和效率，并为个性化医疗提供支持。未来，Triad有望成为医学影像分析的重要基础设施。
📄 摘要（原文）
Vision foundation models (VFMs) are pre-trained on extensive image datasets to learn general representations for diverse types of data. These models can subsequently be fine-tuned for specific downstream tasks, significantly boosting performance across a broad range of applications. However, existing vision foundation models that claim to be applicable to various clinical tasks are mostly pre-trained on 3D computed tomography (CT), which benefits from the availability of extensive 3D CT databases. Significant differences between CT and magnetic resonance imaging (MRI) in imaging principles, signal characteristics, and data distribution may hinder their practical performance and versatility in MRI-specific applications. Here, we propose Triad, a vision foundation model for 3D MRI. Triad adopts a widely used autoencoder architecture to learn robust representations from 131,170 3D MRI volumes and uses organ-independent imaging descriptions to constrain the semantic distribution of the visual modality. The above pre-training dataset is called Triad-131K, which is currently the largest 3D MRI pre-training dataset. We evaluate Triad across three tasks, namely, organ/tumor segmentation, organ/cancer classification, and medical image registration, in two data modalities (within-domain and out-of-domain) settings using 25 downstream datasets. By initializing models with Triad's pre-trained weights, nnUNet-Triad improves segmentation performance by 2.51% compared to nnUNet-Scratch across 17 datasets. Swin-B-Triad achieves a 3.97% improvement over Swin-B-Scratch in classification tasks across five datasets. SwinUNETR-Triad improves by 4.00% compared to SwinUNETR-Scratch in registration tasks across two datasets. Our study demonstrates that pre-training can improve performance when the data modalities and organs of upstream and downstream tasks are consistent.