Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation

📄 arXiv: 2609.28860v1 📥 PDF

作者: Md Maklachur Rahman, Md Hasan Al Banna, Saraf Anjum, Assame Arnob, Tracy Hammond

分类: cs.CV, cs.LG

发布日期: 2026-09-24

备注: Accepted at MICCAI 2026 (TIA). Final version to appear in the proceedings

🔗 代码/项目: GITHUB

💡 一句话要点

提出MRSeg以解决医学图像分割中的模糊性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 多模态融合 文本引导 深度学习 特征适应

📋 核心要点

  1. 现有的文本引导医学图像分割方法在图像和语言特征交互方面存在局限，未能有效适应不同的图像-文本对。
  2. MRSeg框架通过为每个图像-文本对引导视觉和文本特征的适应，采用联合路由器和区域桥的设计，提升分割精度。
  3. 在QaTa-COV19和MosMedData+数据集上，MRSeg的性能显著提升，Dice/mIoU指标表现优异，展示了其有效性。

📝 摘要（中文）

文本描述可以通过指定要描绘的发现和位置来减少医学图像分割中的模糊性。现有的文本引导方法主要改善图像和语言特征的交互，但通常在所有图像-文本对中保留单一的学习更新路径。我们提出了MRSeg，一个参数高效的框架，利用每个图像-文本对来引导视觉和文本特征的适应，随后进行密集预测。冻结的ConvNeXt-Tiny和PubMedBERT编码器提供多尺度视觉特征和临床文本标记。联合路由器使用最深的视觉特征和池化文本来预测低秩适配器基的稀疏混合。最终，MRSeg在QaTa-COV19和MosMedData+上分别达到了90.90/83.32和81.53/68.82的Dice/mIoU，具有7.11M可训练参数和7.60 GFLOPs。

🔬 方法详解

问题定义：本论文旨在解决医学图像分割中由于文本描述模糊而导致的准确性不足问题。现有方法通常在图像-文本对中使用单一的更新路径，未能充分利用特定的图像和文本特征。

核心思路：MRSeg框架通过为每个图像-文本对引导视觉和文本特征的适应，采用联合路由器和区域桥的设计，旨在提高分割的准确性和效率。

技术框架：MRSeg的整体架构包括三个主要模块：冻结的ConvNeXt-Tiny和PubMedBERT编码器用于提取多尺度视觉特征和文本标记；联合路由器负责根据视觉和文本特征的深度信息进行特征适应；区域桥则通过自注意力和文本交叉注意力来聚合和精炼视觉信息。

关键创新：MRSeg的主要创新在于其参数高效的设计，通过共享路由和适配器银行来协调视觉和文本特征的适应，显著提高了模型的灵活性和性能。

关键设计：在参数设置上，MRSeg使用7.11M的可训练参数，结合低秩适配器和多尺度解码器，确保了模型在保持高效性的同时，能够处理复杂的医学图像分割任务。具体损失函数和网络结构的细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MRSeg在QaTa-COV19和MosMedData+数据集上分别达到了90.90/83.32和81.53/68.82的Dice/mIoU，显示出显著的性能提升。与现有基线相比，MRSeg在参数效率和分割精度上均表现优异，具有7.11M的可训练参数和7.60 GFLOPs的计算复杂度。

🎯 应用场景

该研究在医学图像分析领域具有广泛的应用潜力，尤其是在疾病诊断和治疗规划中。通过提高图像分割的准确性，MRSeg能够帮助医生更好地理解和处理医学影像，从而提升医疗服务质量。未来，该方法还可以扩展到其他领域，如自动驾驶和工业检测等。

📄 摘要（原文）

Textual descriptions can reduce ambiguity in medical image segmentation by specifying the finding and location to be delineated. Existing text-guided methods mainly improve where image and language features interact but generally retain a single learned update pathway across all image-text pairs. We propose MRSeg, a parameter-efficient framework that uses each image-text pair to route the adaptation of visual and textual features before dense prediction. Frozen ConvNeXt-Tiny and PubMedBERT encoders provide multiscale visual features and clinical text tokens. A joint router uses the deepest visual feature and pooled text to predict a sparse mixture over low-rank adapter bases. The resulting route is shared across separate adapter banks for two visual scales and text, coordinating their adaptation while keeping the feature-specific parameters separate. Region Bridge uses text-derived queries to aggregate dense visual tokens into latent regions, refines these regions through self-attention and text cross-attention, and redistributes the refined information back to the feature maps. Finally, a multiscale decoder combines refined semantic features with shallow image evidence. On QaTa-COV19 and MosMedData+, MRSeg achieves 90.90/83.32 and 81.53/68.82 Dice/mIoU, respectively, with 7.11M trainable parameters and 7.60 GFLOPs. Code: https://github.com/maklachur/MRSeg.