Med-DualLoRA: Local Adaptation of Foundation Models for 3D Cardiac MRI

📄 arXiv: 2603.10967v1 📥 PDF

作者: Joan Perramon-Llussà, Amelia Jiménez-Sánchez, Grzegorz Skorupko, Fotis Avgoustidis, Carlos Martín-Isla, Karim Lekadir, Polyxeni Gkontra

分类: cs.CV

发布日期: 2026-03-11

备注: 11 pages, 2 figures. Submitted to MICCAI 2026

💡 一句话要点

提出Med-DualLoRA以解决3D心脏MRI适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 联邦学习 心脏MRI 基础模型 低秩适应 隐私保护 多中心数据

📋 核心要点

  1. 现有方法在使用单中心数据进行适应时，可能导致模型性能下降和偏差增加，且集中微调因隐私限制而难以实施。
  2. 论文提出的Med-DualLoRA框架通过局部低秩适应和全局共享模块的分离，提供了一种高效的联邦微调解决方案。
  3. 实验结果显示，Med-DualLoRA在多中心数据集上实现了平衡准确率0.768和特异性0.612的显著提升，且通信效率得到了改善。

📝 摘要（中文）

基础模型（FMs）在医学影像任务中展现出良好的性能，但单中心数据的适应性可能导致模型偏差和性能下降。论文提出Med-DualLoRA，一个客户端感知的参数高效联邦微调框架，通过加法分解将全局共享和局部低秩适应分离。该方法在保护隐私的同时，显著降低了通信成本，并在多中心数据集上实现了显著的性能提升。实验结果表明，Med-DualLoRA在疾病检测任务中取得了平衡准确率0.768和特异性0.612的显著改进。

🔬 方法详解

问题定义：本研究旨在解决在多中心3D心脏MRI数据上进行模型适应时的隐私和性能问题。现有方法在处理异构非独立同分布（non-IID）数据时面临通信开销大和性能下降的挑战。

核心思路：Med-DualLoRA框架通过将全局共享和局部低秩适应分离，允许各个客户端在本地训练适应模块，同时只共享全局组件，从而保护隐私并提高个性化。

技术框架：该框架包括全局LoRA模块和局部LoRA模块。全局模块在所有客户端之间共享，而局部模块仅在本地训练，确保了适应性和隐私的平衡。

关键创新：Med-DualLoRA的主要创新在于其参数高效的设计，能够在保持性能的同时显著降低通信成本。与传统的联邦学习方法相比，该方法在处理多中心数据时更具优势。

关键设计：在模型训练中，采用了局部和全局模块的加法分解，关键参数设置和损失函数设计确保了模型的高效适应性。实验中仅适应两个变换器块，进一步提高了效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Med-DualLoRA在疾病检测任务中取得了平衡准确率0.768和特异性0.612的显著提升，相较于其他联邦PEFT基线方法，表现出更好的性能和通信效率。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析，尤其是在心脏病检测和诊断中。通过提供一种隐私保护的联邦学习框架，Med-DualLoRA能够在不同医疗机构之间共享知识，同时保持患者数据的安全性。这一方法的成功实施可能会推动更多医疗领域的基础模型适应研究，提升临床决策支持系统的智能化水平。

📄 摘要（原文）

Foundation models (FMs) show great promise for robust downstream performance across medical imaging tasks and modalities, including cardiac magnetic resonance (CMR), following task-specific adaptation. However, adaptation using single-site data may lead to suboptimal performance and increased model bias, while centralized fine-tuning on clinical data is often infeasible due to privacy constraints. Federated fine-tuning offers a privacy-preserving alternative; yet conventional approaches struggle under heterogeneous, non-IID multi-center data and incur substantial communication overhead when adapting large models. In this work, we study federated FM fine-tuning for 3D CMR disease detection and propose Med-DualLoRA, a client-aware parameter-efficient fine-tuning (PEFT) federated framework that disentangles globally shared and local low-rank adaptations (LoRA) through additive decomposition. Global and local LoRA modules are trained locally, but only the global component is shared and aggregated across sites, keeping local adapters private. This design improves personalization while significantly reducing communication cost, and experiments show that adapting only two transformer blocks preserves performance while further improving efficiency. We evaluate our method on a multi-center state-of-the-art cine 3D CMR FM fine-tuned for disease detection using ACDC and combined M\&Ms datasets, treating each vendor as a federated client. Med-DualLoRA achieves statistically significant improved performance (balanced accuracy 0.768, specificity 0.612) compared to other federated PEFT baselines, while maintaining communication efficiency. Our approach provides a scalable solution for local federated adaptation of medical FMs under realistic clinical constraints.