MedCLM: Learning to Localize and Reason via a CoT-Curriculum in Medical Vision-Language Models

📄 arXiv: 2510.04477v1 📥 PDF

作者: Soo Yong Kim, Suin Cho, Vincent-Daniel Yun, Gyeongyeon Hwang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2025-10-06

💡 一句话要点

MedCLM：通过CoT课程学习医学视觉语言模型中的定位和推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学视觉问答 思维链 课程学习 医学影像 临床诊断

📋 核心要点

  1. 医学影像诊断推理面临AI融合的挑战，现有方法缺乏有效的推理能力和上下文信息利用。
  2. MedCLM通过自动构建大规模CoT医学VQA数据，并设计课程学习策略，提升模型推理能力。
  3. 实验表明，MedCLM在医学VQA任务上达到SOTA，验证了其在临床医学影像分析中的潜力。

📝 摘要（中文）

将临床诊断推理与AI相结合仍然是医学影像领域的核心挑战。我们提出了MedCLM，一个自动化的流程，通过将病灶框与器官分割和结构化推理相关联，将检测数据集转换为大规模的医学视觉问答（VQA）数据，并具备思维链（CoT）推理能力。这些上下文信号使医学视觉语言模型能够生成带有逐步推理的问答对。为了有效地利用这些数据，我们提出了一种集成的CoT课程策略，该策略由一个简单的阶段（带有显式病灶框用于视觉定位）、一个中等的阶段（鼓励隐式定位）和一个困难的阶段（用于弱监督推理）组成。实验结果表明，MedCLM在多个医学VQA基准测试中取得了最先进的性能，为开发与临床对齐的医学视觉语言模型提供了一个可扩展的框架。

🔬 方法详解

问题定义：医学视觉问答（VQA）旨在让AI系统能够理解医学图像并回答相关问题。现有的医学VQA模型通常缺乏有效的推理能力，难以模拟临床医生的诊断过程。此外，缺乏大规模的、带有推理过程标注的数据集限制了模型的性能提升。现有方法难以将检测数据集转化为带有推理过程的VQA数据，从而无法充分利用已有的医学影像资源。

核心思路：MedCLM的核心思路是通过自动化的流程，将现有的医学影像检测数据集转化为大规模的、带有思维链（CoT）推理过程的VQA数据。通过将病灶框与器官分割和结构化推理相关联，为模型提供丰富的上下文信息，从而提升模型的推理能力。此外，采用课程学习策略，逐步引导模型学习定位和推理，进一步提高模型性能。

技术框架：MedCLM包含两个主要部分：数据生成和模型训练。数据生成部分，首先利用现有的检测数据集，将病灶框与器官分割结果进行关联，然后生成结构化的推理过程，最终得到大规模的CoT医学VQA数据。模型训练部分，采用集成的CoT课程策略，包括简单、中等和困难三个阶段。简单阶段使用显式病灶框进行视觉定位，中等阶段鼓励隐式定位，困难阶段进行弱监督推理。

关键创新：MedCLM的关键创新在于：1) 提出了一个自动化的流程，能够将检测数据集转化为大规模的CoT医学VQA数据，解决了数据稀缺的问题。2) 设计了一种集成的CoT课程策略，能够有效地引导模型学习定位和推理，提升模型性能。3) 将病灶框与器官分割和结构化推理相关联，为模型提供了丰富的上下文信息，从而提升了模型的推理能力。

关键设计：在数据生成方面，关键在于如何将病灶框与器官分割结果进行关联，并生成合理的推理过程。论文采用了一种基于规则的方法，根据病灶的位置和器官的类型，生成相应的推理步骤。在模型训练方面，关键在于如何设计课程学习策略，逐步引导模型学习定位和推理。论文采用了一种基于难度的课程学习策略，从简单到困难，逐步增加模型的学习难度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MedCLM在多个医学VQA基准测试中取得了最先进的性能，证明了其有效性。例如，在VQA-RAD数据集上，MedCLM的准确率超过了现有方法，取得了显著的提升。实验结果表明，MedCLM能够有效地利用上下文信息，进行准确的定位和推理，从而提高医学VQA的性能。

🎯 应用场景

MedCLM可应用于辅助医学诊断、医学影像报告生成、医学教育等领域。通过提供可解释的推理过程，帮助医生进行更准确的诊断，提高诊断效率。同时，可以用于医学影像报告的自动生成，减轻医生的工作负担。此外，还可以作为医学教育的工具，帮助学生理解医学影像的诊断过程。

📄 摘要（原文）

Bridging clinical diagnostic reasoning with AI remains a central challenge in medical imaging. We introduce MedCLM, an automated pipeline that converts detection datasets into large-scale medical visual question answering (VQA) data with Chain-of-Thought (CoT) reasoning by linking lesion boxes to organ segmentation and structured rationales. These contextual signals enable medical vision-language models to generate question-answer pairs with step-by-step reasoning. To utilize this data effectively, we propose an Integrated CoT-Curriculum Strategy composed of an Easy stage with explicit lesion boxes for visual grounding, a Medium stage that encourages implicit localization, and a Hard stage for weakly supervised reasoning. Experimental results demonstrate that MedCLM attains state-of-the-art performance on several medical VQA benchmarks, providing a scalable framework for developing clinically aligned medical vision-language models.