TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation

📄 arXiv: 2512.21135v1 📥 PDF

作者: Gaoren Lin, Huangxuan Zhao, Yuan Xiong, Lefei Zhang, Bo Du, Wentao Zhu

分类: cs.CV, cs.AI

发布日期: 2025-12-24

💡 一句话要点

TGC-Net：一种结构感知和语义对齐的文本引导医学图像分割框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本引导分割 医学图像分析 CLIP 多模态融合 语义对齐 结构感知 深度学习

📋 核心要点

  1. 现有文本引导医学图像分割方法依赖未对齐的编码器，需复杂融合模块，且CLIP直接应用效果不佳。
  2. TGC-Net通过语义-结构协同编码、领域增强文本编码和视觉-语言校准模块，实现高效的任务特定适配。
  3. 实验表明，TGC-Net在多个数据集上以更少的参数实现了SOTA性能，显著提升了Dice系数。

📝 摘要（中文）

本文提出了一种名为TGC-Net的框架，用于文本引导的医学图像分割，旨在利用临床报告作为辅助信息来提高分割精度。现有方法通常依赖于未对齐的图像和文本编码器，需要复杂的交互模块进行多模态融合。虽然CLIP提供了一个预对齐的多模态特征空间，但直接应用于医学成像存在三个问题：对细粒度解剖结构的保留不足、对复杂临床描述的建模不足以及领域特定的语义不对齐。TGC-Net基于CLIP，专注于参数高效的任务特定适配，包含语义-结构协同编码器(SSE)，通过CNN分支增强CLIP的ViT以进行多尺度结构细化；领域增强文本编码器(DATE)，注入来自大型语言模型的医学知识；以及视觉-语言校准模块(VLCM)，在统一特征空间中细化跨模态对应关系。在胸部X光和胸部CT模态的五个数据集上的实验表明，TGC-Net以明显更少的训练参数实现了最先进的性能，包括在具有挑战性的基准测试中显著的Dice增益。

🔬 方法详解

问题定义：文本引导的医学图像分割旨在利用临床报告辅助提升分割精度。现有方法的痛点在于图像和文本编码器通常未对齐，需要复杂的跨模态交互模块。此外，直接应用CLIP等通用视觉-语言模型到医学图像分割任务，会面临细粒度结构信息丢失、临床描述建模不足以及领域语义不对齐等问题。

核心思路：TGC-Net的核心思路是基于预训练的CLIP模型，通过参数高效的任务特定适配来解决上述问题。它通过引入结构感知和语义对齐机制，弥补CLIP在医学图像分割任务中的不足，从而提升分割精度。这种方法避免了从头训练大型模型，降低了计算成本。

技术框架：TGC-Net的整体框架包含三个主要模块：语义-结构协同编码器(SSE)、领域增强文本编码器(DATE)和视觉-语言校准模块(VLCM)。首先，SSE通过CNN分支增强CLIP的ViT，提取多尺度结构特征。然后，DATE注入大型语言模型导出的医学知识，增强文本表示。最后，VLCM在统一特征空间中校准视觉和语言特征，优化跨模态对应关系。

关键创新：TGC-Net的关键创新在于其结构感知和语义对齐的设计。SSE通过结合CNN和ViT，有效保留了医学图像中的细粒度结构信息。DATE利用大型语言模型，提升了对复杂临床描述的建模能力。VLCM则通过校准视觉和语言特征，解决了领域语义不对齐的问题。

关键设计：SSE模块中，CNN分支的具体结构和参数设置（例如卷积核大小、通道数等）需要根据具体数据集进行调整，以适应不同模态和器官的结构特征。DATE模块中，如何有效地从大型语言模型中提取医学知识，并将其注入到文本编码器中，是一个关键的技术细节。VLCM模块中，校准策略（例如对比学习、注意力机制等）的选择会直接影响跨模态对齐的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TGC-Net在五个数据集上取得了SOTA性能，尤其在具有挑战性的基准测试中，Dice系数获得了显著提升。值得注意的是，该方法仅需少量可训练参数，相比于其他需要大量计算资源的模型，具有更高的效率和实用性。实验结果表明，TGC-Net能够有效解决医学图像分割中的结构感知和语义对齐问题。

🎯 应用场景

TGC-Net在医学图像分析领域具有广泛的应用前景，可用于辅助医生进行疾病诊断、治疗计划制定和疗效评估。通过结合临床报告，该方法能够更准确地分割病灶区域，提高诊断精度，并为个性化治疗提供更可靠的依据。未来，该技术有望应用于更多医学影像模态和疾病类型，推动医学影像智能化发展。

📄 摘要（原文）

Text-guided medical segmentation enhances segmentation accuracy by utilizing clinical reports as auxiliary information. However, existing methods typically rely on unaligned image and text encoders, which necessitate complex interaction modules for multimodal fusion. While CLIP provides a pre-aligned multimodal feature space, its direct application to medical imaging is limited by three main issues: insufficient preservation of fine-grained anatomical structures, inadequate modeling of complex clinical descriptions, and domain-specific semantic misalignment. To tackle these challenges, we propose TGC-Net, a CLIP-based framework focusing on parameter-efficient, task-specific adaptations. Specifically, it incorporates a Semantic-Structural Synergy Encoder (SSE) that augments CLIP's ViT with a CNN branch for multi-scale structural refinement, a Domain-Augmented Text Encoder (DATE) that injects large-language-model-derived medical knowledge, and a Vision-Language Calibration Module (VLCM) that refines cross-modal correspondence in a unified feature space. Experiments on five datasets across chest X-ray and thoracic CT modalities demonstrate that TGC-Net achieves state-of-the-art performance with substantially fewer trainable parameters, including notable Dice gains on challenging benchmarks.