A4-MR: Abnormality-aware Anatomical Alignment for MR

📄 arXiv: 2610.13056v1 📥 PDF

作者: Noel D'souza, Zhijian Yang, Nishank Singla, Pranay Doshi, Krisztian Koos, Fei Tan, Bruno Nunes, Laszlo Rusko, Bernadett Kolozsvari, Eszter Sabo, Emanuele Valeriano, Vikash Gupta, Seyed Iman Zare Estakhraji, Marc Lebel, Farzin Haddadpour, Taha Kass-Hout, Erhan Bas

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出A4-MR以解决MRI图像解剖定位与病理表示不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 磁共振成像 视觉-语言模型 解剖定位 病理表示 多模态对齐 异常检测 医学影像分析

📋 核心要点

  1. 现有的MRI视觉-语言模型在解剖定位和病理表示方面存在局限，难以满足实际应用需求。
  2. A4-MR通过大规模预训练和解剖层面的图像-文本对齐，学习健康与异常解剖的表示，提升模型性能。
  3. 在多项下游任务中，A4-MR表现优异，异常检测提升1.7 AUROC，膝关节分割提升1.4 Dice，显示出其强大的应用潜力。

📝 摘要（中文）

近年来，大规模基础模型的进展使得在磁共振成像（MRI）领域的临床和研究任务中实现了强大的泛化能力。然而，现有的视觉-语言MRI模型在解剖特定定位和病理意识表示方面仍然有限，尤其是在实际应用中。本文提出A4-MR，一个基于3D视觉-语言的基础模型，训练于约50,000个MRI研究，包含491,000个系列，其中约一半与放射学报告配对。A4-MR旨在通过大规模预训练学习解剖定位、在解剖层面对图像和文本表示进行对齐，并学习健康与异常解剖的不同表示。实验结果表明，A4-MR在多个下游任务中超越了现有基础模型，尤其在异常检测上提升了1.7 AUROC。

🔬 方法详解

问题定义：本文旨在解决现有MRI视觉-语言模型在解剖定位和病理表示上的不足，尤其是在真实场景中的应用挑战。现有模型往往无法有效处理解剖结构的多样性和病理特征的复杂性。

核心思路：A4-MR的核心思路是通过大规模的预训练，利用噪声标签学习解剖定位，并在解剖层面对图像和文本表示进行对齐，从而实现健康与异常解剖的区分。

技术框架：A4-MR的整体架构包括三个主要模块：解剖定位模块、图像-文本对齐模块和异常表示学习模块。通过这些模块的协同工作，模型能够有效地处理MRI数据。

关键创新：A4-MR的关键创新在于其解剖层面的多模态对齐和病理意识表示学习，使得单一模型能够支持定位、分割和病理相关任务，这在现有模型中尚属首次。

关键设计：在模型设计中，A4-MR采用了大规模的MRI数据集进行预训练，并使用了特定的损失函数来优化解剖定位和异常检测的性能，确保模型在多种任务中的泛化能力。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

A4-MR在多个下游任务中表现优异，异常检测提升了1.7 AUROC，相较于MedSigLIP模型显著提高。同时，在膝关节分割任务中，使用冻结编码器的A4-MR比任务特定的MedNeXt模型提升了1.4 Dice，显示出其在解剖定位和分割任务中的强大能力。

🎯 应用场景

A4-MR的研究成果在医学影像分析领域具有广泛的应用潜力，能够支持临床诊断、病理检测和解剖结构的自动化识别。未来，该模型有望在个性化医疗和智能影像分析系统中发挥重要作用，提升医疗服务的效率和准确性。

📄 摘要（原文）

Recent advances in large-scale foundation models have enabled strong generalization across a wide range of clinical and research tasks in magnetic resonance imaging (MRI). However, existing vision-language MRI models remain limited in anatomy-specific localization and pathology-aware representation, particularly in real-world settings. We introduce A4-MR, a 3D vision-language foundation model trained on approximately 50,000 MRI studies comprising 491,000 series, roughly half of which are paired with radiology reports. A4-MR is designed to: (1) learn anatomy localization through large-scale pretraining with noisy labels; (2) align image and text representations at the anatomical level; and (3) learn distinct representations of healthy and abnormal anatomy. Across a diverse set of downstream tasks, A4-MR outperforms existing foundation models, including a +1.7 AUROC improvement over MedSigLIP for abnormality detection. Using a frozen encoder, A4-MR also surpasses an end-to-end task-specific MedNeXt model for knee segmentation by +1.4 Dice and performs comparably to the best task-specific model for abdominal organ segmentation on AMOS, within 0.4 Dice. Finally, without anatomical prompts, A4-MR localizes 3D anatomy comparably to MedSAM2 provided with ground-truth bounding boxes. Together, these results demonstrate that anatomy-level multimodal alignment and abnormality-aware representation learning can enable a single MRI foundation model to support localization, segmentation, and pathology-related tasks.