Multimodal Medical Image Parsing with Task-Specific Low-Rank Adapters

📄 arXiv: 2610.19901v1 📥 PDF

作者: Taha Sabir, Alberto Montero Molina, Thinh Quang Ly, Veronika Dmitrenko, Mohammad Yaqub, Tausifa Jan Saleem

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-10-14

备注: 17 pages, 4 figures. FLARE 2026 Task 3 methodology paper (2D track)

🔗 代码/项目: GITHUB

💡 一句话要点

提出任务特定低秩适配器以解决多模态医学图像解析问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像解析 多模态学习 任务特定适配器 低秩适配器 视觉-语言模型

📋 核心要点

  1. 现有方法在医学图像解析中难以有效适应不同任务的需求，导致性能不均衡。
  2. 论文提出了一种结合共享骨干网络和任务特定LoRA适配器的模型，旨在提升多模态医学图像解析的准确性。
  3. 实验结果表明，采用任务特定适配器后，分类准确率和检测F1分数均有显著提升，验证了该方法的有效性。

📝 摘要（中文）

本研究探讨了如何将单一视觉-语言模型适应于医学图像解析，特别是针对FLARE 2026任务3的需求。我们使用Qwen3.5-9B模型，结合共享的冻结4位骨干网络和根据输入问题选择的LoRA适配器。通过定制适配器秩和提示，重新平衡稀有分类目标，并用皮肤科分类示例补充回归训练，最终在多个指标上取得了显著的性能提升。实验结果显示，任务特定适配器在固定内部保留集上实现了0.7791的分类宏观平衡准确率和0.8914的检测F1分数。

🔬 方法详解

问题定义：本研究旨在解决医学图像解析中，现有方法无法有效适应不同任务需求的问题，导致模型性能不均衡。

核心思路：通过结合共享的冻结4位骨干网络与任务特定的LoRA适配器，论文提出了一种灵活的适应机制，能够根据输入问题动态调整适配器的配置。

技术框架：整体架构包括一个共享的冻结骨干网络和多个任务特定的LoRA适配器。模型首先加载共享骨干网络，然后根据输入问题选择相应的适配器进行任务适应。

关键创新：最重要的创新在于引入任务特定的低秩适配器，使得模型能够在多种任务和成像模态下灵活调整，显著提升了模型的适应性和性能。

关键设计：在设计中，适配器的秩和提示被定制，以适应不同的任务需求。同时，稀有分类目标得到了重新平衡，回归训练中引入了皮肤科分类示例，以增强模型的泛化能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，任务特定适配器在固定内部保留集上实现了0.7791的分类宏观平衡准确率和0.8914的检测F1分数。在组织者的1,703个示例隐藏验证集上，分类平衡准确率达到了0.8496，显示出显著的性能提升，验证了该方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床辅助诊断和医疗数据挖掘等。通过提高医学图像解析的准确性和效率，能够为医生提供更可靠的决策支持，进而改善患者的治疗效果。未来，该方法还可以扩展到其他医学领域或不同类型的图像解析任务中。

📄 摘要（原文）

Adapting a single vision-language model to medical image parsing requires training choices that reflect the demands of each task. We study task-specific adaptation with Qwen3.5-9B for FLARE 2026 Task 3, covering six task families and seven imaging modalities. Our system couples a shared, frozen 4-bit backbone with LoRA adapters selected from the input question. We customize adapter ranks and prompts, rebalance rare classification targets, and supplement regression training with dermatology classification examples. On the fixed internal holdout, the task-specific adapters achieve a dataset-macro balanced accuracy of 0.7791 for classification, a dataset-macro micro-F1 of 0.6286 for multi-label classification, a counting mean absolute error (MAE) of 11.73, a dataset-macro detection F1 of 0.8914, a dataset-macro regression MAE of 9.78, and a report-generation CRIMSON score of 0.8204. On the organizer's 1,703-example hidden-validation set, the submitted system achieves 0.8496 classification balanced accuracy, 0.5338 sample-averaged multi-label F1, and 14.5950 regression MAE. The final 30.1 GB container averages 3.1 seconds per case, including model loading, and produces identical outputs across repeated verification runs. The benefits vary across tasks, supporting the use of task-specific adapter configurations and image budgets within a shared medical vision-language model. Code is available at https://github.com/TahaSabir0/FLARE26-Hexapus.