SAM Meets VLM: Parameter-Decoupled Full-Parameter Training for Unified Medical Reasoning and Segmentation

📄 arXiv: 2609.37283v1 📥 PDF

作者: Xuyang Cao, Enyou Liu, Jun Zhao, Zhuoyun Liu, Jintao Fei, Leo

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出参数解耦的全参数训练框架以解决医学推理与分割统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学推理 分割技术 多模态学习 参数解耦 视觉语言模型 深度学习 临床应用

📋 核心要点

  1. 现有方法在医学推理与分割的统一训练中面临图像级与像素级要求不同的挑战，导致性能受限。
  2. 本文提出的参数解耦训练框架通过将状态与语言状态分离，优化了医学推理与分割的协同效果。
  3. 实验结果显示，该框架在多个医学任务上实现了强大的语言条件分割，同时保持了竞争力的推理能力。

📝 摘要（中文）

医学多模态大语言模型（MLLMs）不仅需要回答临床问题，还需定位其预测背后的视觉证据。现有方法通过特殊的标记将视觉-语言模型（VLM）与SAM风格的分割连接，但由于图像级推理与像素级分割对共享表示空间的不同要求，导致全参数训练困难。为此，本文提出了一种参数解耦的训练框架，旨在实现统一的医学推理与分割。该框架将隐藏状态视为掩码解码器的语义到空间的提示，鼓励其与通用语言状态分离，从而减少模糊的分割提示和对推理表示的潜在干扰。实验结果表明，该框架在医学参考分割、定位、视觉问答和文本问答基准上均表现出色。

🔬 方法详解

问题定义：本文旨在解决医学推理与分割统一训练中的参数冲突问题。现有方法难以同时满足图像级推理与像素级分割的不同需求，导致训练效果不佳。

核心思路：提出参数解耦的训练框架，通过将隐藏状态作为分割提示，与通用语言状态分离，从而减少模糊性并优化推理表现。

技术框架：框架包括三个主要阶段：首先进行医学浅层对齐，将视觉特征适配到临床语言；然后通过控制指令调优来塑造可分离的提示状态，并监控Davies-Bouldin指数（DBI）；最后，冻结VLM进行SAM分支的专门化，以提高掩码精度。

关键创新：最重要的创新在于参数解耦训练策略，使得分割与推理过程能够独立优化，避免了传统方法中的干扰。

关键设计：在训练过程中，采用了两阶段的指令调优、梯度缩放和分割专门化等设计，确保了模型在推理与分割任务中的高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的框架在医学参考分割、定位、视觉问答和文本问答基准上均取得了显著提升，尤其在语言条件分割任务中表现优异，具体性能数据与基线相比有明显提高，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床决策支持系统以及智能医疗助手等。通过提高医学推理与分割的协同能力，能够为医生提供更准确的诊断支持，提升医疗服务的效率与质量。未来，该框架有望在更广泛的医学领域中推广应用，推动智能医疗的发展。

📄 摘要（原文）

Medical multimodal large language models (MLLMs) are increasingly expected not only to answer clinical questions, but also to localize the visual evidence behind their predictions. A common strategy connects a vision--language model (VLM) with SAM-style segmentation through a special token, yet full-parameter training of this unified architecture is difficult because image-level reasoning and pixel-level segmentation impose different requirements on the shared representation space. To address this issue, we propose a parameter-decoupled training framework for unified medical reasoning and segmentation. The framework treats the hidden state as a semantic-to-spatial prompt for the mask decoder and encourages it to become separable from generic language states, reducing ambiguous segmentation prompts and potential disruption to reasoning representations. It first performs medical shallow alignment to adapt visual features to clinical language without disturbing the LLM; then controlled instruction tuning shapes separable prompt states, monitored by the Davies--Bouldin Index (DBI), while scaling segmentation gradients entering the language backbone; finally, the SAM branch is specialized with the VLM frozen to improve mask precision without altering reasoning parameters. Experiments on medical referring segmentation, grounding, visual QA, and textual QA benchmarks show that our framework achieves strong language-conditioned segmentation while preserving competitive reasoning ability. Ablations show that two-phase instruction tuning, gradient scaling, and segmentation specialization all contribute to the model.