Convergent Performance, Divergent Mechanisms in LoRA-Adapted Vision Foundation Models for Brain MRI
作者: Cecilia Diana-Albelda, Fiona Kekwick, Raghav Mehta, Aleksandra Kulbaka, Paul M. Matthews, Jesus Bescos, Álvaro García-Martín, Wenjia Bai, Bernhard Kainz
分类: cs.CV, cs.LG
发布日期: 2026-10-20
备注: 14 pages, 6 figures, Preprint submitted to Elsevier
💡 一句话要点
提出LoRA适应性方法以优化脑MRI图像分割性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学成像 视觉基础模型 脑肿瘤分割 LoRA适应 跨任务迁移 模型选择 性能优化
📋 核心要点
- 现有的模型选择方法主要依赖于下游任务指标，忽视了模型内部表征的差异，导致潜在的性能损失。
- 本文通过分析不同预训练目标和数据域的四种ViT-B/16骨干网络，探讨其在脑肿瘤分割中的适应性。
- 实验结果表明，虽然模型在分割性能上相似，但在跨任务迁移上存在显著差异，提出的局部LoRA方法有效减少了分类性能的下降。
📝 摘要（中文）
通过LoRA将视觉基础模型（VFM）适应于医学成像已成为标准做法，但模型选择几乎完全依赖于下游任务指标，忽视了相似性能背后的内部表征变化。本文分析了四种不同的ViT-B/16骨干网络，探讨了它们在脑肿瘤分割任务中的表现及其内部动态差异。研究发现，尽管四个模型在分割性能上趋于一致，但在跨任务迁移上却表现出显著差异，提出了一种更具参数效率和鲁棒性的机制基础策略。
🔬 方法详解
问题定义：本文旨在探讨在医学成像中使用LoRA适应视觉基础模型时，模型选择的标准是否足够全面。现有方法往往忽视了相似性能背后的内部表征变化，可能导致不必要的性能损失。
核心思路：通过对四种不同的ViT-B/16骨干网络进行分析，研究它们在脑肿瘤分割任务中的适应性，揭示相同性能并不意味着相同的内部动态。
技术框架：研究包括对四种模型的适应性分析，使用注意力发散、权重变化分析和激活补丁等方法，评估它们在六个数据集上的表现。
关键创新：本文揭示了修改幅度与因果重要性之间的解离，提出仅对早中层进行LoRA适应可以实现与全层相似的分割性能，同时减少分类性能的下降。
关键设计：在模型适应过程中，重点关注早中层的修改，采用特定的损失函数和参数设置，以确保在保持分割性能的同时，优化分类任务的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，四种模型在脑肿瘤分割任务上的Dice系数均在78%-81%之间，尽管性能相似，但在跨任务迁移上表现出显著差异。DINOv3的分割适应性提升了阿尔茨海默病分类性能，而其他三种模型则出现了性能下降。局部LoRA方法有效减少了分类性能的损失，展现出更高的参数效率和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析，尤其是在脑肿瘤分割和阿尔茨海默病分类等任务中。通过优化模型适应性，可以提高医学图像处理的准确性和效率，进而推动临床诊断和治疗的进步。未来，该方法可能在其他医学成像任务中得到广泛应用，提升整体医疗服务质量。
📄 摘要（原文）
Adapting Vision Foundation Models (VFMs) to medical imaging via LoRA has become standard practice, yet model selection is guided almost entirely by downstream task metrics, treating backbones with similar performance as interchangeable. We investigate whether equal performance implies equal internal representational shift. We analyse four ViT-B/16 backbones, DINOv3, SigLIP2, MerMED-FM, and BiomedCLIP, pre-trained with different objectives (self-distillation vs. contrastive vision-language) and on different data domains (natural vs. medical images). We adapt each to brain tumour segmentation and evaluate on six datasets covering both segmentation and Alzheimer's disease classification. Using attention divergence, weight-change analysis, and activation patching, we find that the four models converge to similar segmentation performance (mean Dice 78-81%) through markedly different internal dynamics, yet diverge in cross-task transfer: segmentation adaptation improves Alzheimer's disease classification for DINOv3 but degrades it for the other three backbones. We reveal a dissociation between modification magnitude and causal importance: the most heavily modified layers are not the causally relevant ones, with early-to-mid layers identified as sufficient for segmentation recovery. Restricting LoRA to these layers matches or approaches full-layer segmentation while reducing classification degradation in the three affected backbones, providing a mechanistically grounded strategy that is more parameter-efficient and more robust than standard full-layer adaptation.