Beyond Training from Scratch: Foundation Models for Data-Efficient and Generalizable Cardiac MRI Reconstruction

📄 arXiv: 2610.08109v1 📥 PDF

作者: Anam Hashmi, Mayug Maniparambil, Julia Dietlmeier, Kathleen M. Curran, Noel E. O'Connor

分类: cs.CV

发布日期: 2026-10-06

备注: Accepted at ECCVW 2026

💡 一句话要点

提出基于预训练模型的心脏MRI重建方法以提高数据效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏MRI重建 预训练模型 数据效率 变换器架构 低秩适应 医学影像 深度学习

📋 核心要点

  1. 现有心脏MRI重建方法通常需要大量特定任务数据，导致在数据稀缺情况下表现不佳。
  2. 本文提出了一种利用预训练视觉基础模型作为先验的重建框架，结合冻结和高效适应的编码器。
  3. 实验结果显示，预训练模型在多个加速因子下均优于从头训练的模型，尤其在低数据环境中表现突出。

📝 摘要（中文）

心脏磁共振成像重建旨在从欠采样数据中恢复高质量图像，以实现更快的扫描并保持诊断准确性。现有重建方法通常从头开始训练，需大量特定任务数据，限制了其在数据稀缺和分布变化下的鲁棒性。本文探讨了预训练视觉基础模型在加速心脏MRI重建中的有效性，提出了一种将冻结和参数高效适应的视觉编码器（如CLIP、BiomedCLIP和DINOv2）集成到基于变换器的重建架构中的框架。实验结果表明，预训练表示在多个加速因子下均优于从头训练的变换器，并在有限监督和跨数据集迁移中表现出更好的数据效率和泛化能力。

🔬 方法详解

问题定义：本文旨在解决心脏MRI重建中数据稀缺和分布变化导致的鲁棒性不足问题。现有方法通常需要大量特定任务数据，限制了其在实际应用中的有效性。

核心思路：通过利用预训练的视觉基础模型作为先验知识，本文提出了一种新的重建框架，旨在提高数据效率和泛化能力。该方法结合了冻结的编码器与参数高效的适应策略，以优化重建性能。

技术框架：整体架构包括一个基于变换器的重建模块，集成了多个预训练视觉编码器（如CLIP、BiomedCLIP和DINOv2）。框架通过冻结部分编码器并对其进行高效适应，以实现更好的重建效果。

关键创新：本文的主要创新在于将预训练视觉基础模型应用于心脏MRI重建，显著提高了在低数据环境下的重建性能，与传统从头训练的方法相比，展现出更强的鲁棒性和迁移能力。

关键设计：在参数设置上，采用了低秩适应（LoRA）策略，以在中等数据量下进一步提升性能。实验中，DINOv2作为基础模型表现最佳，显示出其在心脏MRI重建中的潜力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预训练模型在CMRxRecon2023和CMRxRecon2024基准测试中表现优异，尤其在极低数据环境下，冻结表示的重建效果显著优于从头训练的变换器。DINOv2在所有评估的基础模型中表现最佳，展示了其在心脏MRI重建中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像学、心脏病诊断和个性化医疗。通过提高心脏MRI重建的效率和准确性，能够为临床提供更快速的诊断支持，降低患者的等待时间，提升医疗服务质量。未来，该方法可能扩展到其他类型的医学成像领域，推动影像重建技术的发展。

📄 摘要（原文）

Cardiac magnetic resonance imaging reconstruction aims to recover high-quality images from undersampled acquisitions, enabling faster scans while preserving diagnostic fidelity. Recent reconstruction methods are typically trained from scratch and often require large amounts of task-specific data, limiting their robustness under data scarcity and distribution shifts. In this work, we investigate whether pretrained vision foundation models can serve as effective priors for accelerated cardiac MRI reconstruction. We propose a reconstruction framework that integrates frozen and parameter-efficiently adapted visual encoders, including CLIP, BiomedCLIP, and DINOv2, within a transformer-based reconstruction architecture. Extensive experiments on the CMRxRecon2023 and CMRxRecon2024 benchmarks demonstrate that pretrained representations consistently outperform a transformer trained from scratch across multiple acceleration factors. We further evaluate performance under limited supervision and cross-dataset transfer, showing that foundation models provide superior data efficiency and generalization. While frozen representations are particularly effective in extreme low-data regimes, Low-Rank Adaptation (LoRA) yields additional gains when moderate amounts of training data are available. Among the evaluated backbones, DINOv2 achieves the strongest overall performance. These findings highlight the potential of vision foundation models as robust and transferable priors for cardiac MRI reconstruction.