Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding

📄 arXiv: 2405.19567v2 📥 PDF

作者: Shenghuan Sun, Alexander Schubert, Gregory M. Goldgof, Zhiqing Sun, Thomas Hartvigsen, Atul J. Butte, Ahmed Alaa

分类: cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2024-05-29 (更新: 2024-10-10)

备注: Code available at: https://github.com/AlaaLab/Dr-LLaVA

💡 一句话要点

Dr-LLaVA：利用符号临床基础进行视觉指令调优，提升医学VLM的临床推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 医学图像分析 临床推理 指令调优 符号表示

📋 核心要点

  1. 现有VLM在医学领域易产生“幻觉”，输出与临床推理不一致的内容，限制了其在诊断和治疗中的应用。
  2. 提出Dr-LLaVA，利用临床推理的符号表示，引导VLM学习并评估其输出的临床有效性，无需人工干预。
  3. Dr-LLaVA在骨髓病理切片分析的多轮医学对话中表现出色，验证了该方法在提升VLM临床推理能力方面的有效性。

📝 摘要（中文）

视觉-语言模型(VLM)可以通过分析医学图像和进行自然语言交互来辅助诊断和治疗，从而为临床医生提供支持。然而，VLM常常表现出“幻觉”行为，产生与上下文多模态信息不符的文本输出。在医学领域，这一挑战尤为突出，因为我们不仅要求VLM在单次交互中输出准确，而且要求在多轮对话中与临床推理和诊断路径保持一致。为此，我们提出了一种新的对齐算法，该算法使用临床推理的符号表示来使VLM扎根于医学知识。这些表示被用于(i)大规模生成GPT-4引导的视觉指令调优数据，模拟临床医生-VLM对话并展示临床推理，以及(ii)创建一个自动奖励函数，用于评估临床医生-VLM交互过程中VLM生成的临床有效性。我们的算法消除了人工参与训练数据生成或奖励模型构建的需求，与标准的人工反馈强化学习(RLHF)相比，降低了成本。我们应用我们的对齐算法来开发Dr-LLaVA，这是一个经过微调的会话式VLM，用于分析骨髓病理切片，在多轮医学对话中表现出强大的性能。

🔬 方法详解

问题定义：现有视觉-语言模型（VLM）在医学领域应用时，容易产生与临床知识和推理不一致的“幻觉”输出。尤其是在多轮对话中，VLM难以保持推理过程的连贯性和临床有效性。现有方法依赖人工标注或反馈，成本高昂，且难以覆盖复杂的临床场景。因此，需要一种能够自动对齐VLM与临床知识，并提升其临床推理能力的方法。

核心思路：论文的核心思路是利用临床推理的符号表示，作为VLM学习和评估的桥梁。通过将临床知识编码为符号形式，可以指导VLM生成符合临床逻辑的文本，并自动评估其输出的临床有效性。这种方法避免了人工参与，降低了成本，并提高了VLM在医学领域的可靠性。

技术框架：Dr-LLaVA的整体框架包含两个主要阶段：数据生成和模型训练。首先，利用GPT-4生成大规模的视觉指令调优数据，模拟临床医生与VLM的对话，并展示临床推理过程。这些数据以临床推理的符号表示为指导，确保生成的内容符合临床逻辑。其次，使用生成的数据对VLM进行微调，并使用自动奖励函数评估VLM输出的临床有效性。奖励函数基于临床推理的符号表示，对VLM的输出进行打分，引导VLM学习生成更符合临床知识的文本。

关键创新：该论文的关键创新在于提出了一种基于符号临床基础的视觉指令调优方法。与传统的依赖人工标注或反馈的方法不同，该方法利用临床推理的符号表示，自动生成训练数据和奖励函数，降低了成本，并提高了VLM在医学领域的可靠性。此外，该方法还能够有效地提升VLM在多轮对话中的临床推理能力，使其能够更好地辅助临床医生进行诊断和治疗。

关键设计：在数据生成阶段，使用GPT-4生成模拟对话，并以临床推理的符号表示为约束，确保生成的内容符合临床逻辑。在模型训练阶段，使用自动奖励函数评估VLM输出的临床有效性。奖励函数的设计基于临床推理的符号表示，对VLM的输出进行打分，引导VLM学习生成更符合临床知识的文本。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dr-LLaVA在骨髓病理切片分析的多轮医学对话中表现出强大的性能，证明了该方法在提升VLM临床推理能力方面的有效性。具体的性能数据、对比基线和提升幅度在摘要中未详细说明，属于未知信息。但该研究为医学VLM的发展提供了一种新的思路。

🎯 应用场景

Dr-LLaVA具有广泛的应用前景，可用于辅助临床医生进行疾病诊断、治疗方案制定和医学教育。通过分析医学图像和进行自然语言交互，Dr-LLaVA可以提供专业的医学建议，提高诊断效率和准确性。未来，Dr-LLaVA有望成为临床医生的得力助手，推动医学人工智能的发展。

📄 摘要（原文）

Vision-Language Models (VLM) can support clinicians by analyzing medical images and engaging in natural language interactions to assist in diagnostic and treatment tasks. However, VLMs often exhibit "hallucinogenic" behavior, generating textual outputs not grounded in contextual multimodal information. This challenge is particularly pronounced in the medical domain, where we do not only require VLM outputs to be accurate in single interactions but also to be consistent with clinical reasoning and diagnostic pathways throughout multi-turn conversations. For this purpose, we propose a new alignment algorithm that uses symbolic representations of clinical reasoning to ground VLMs in medical knowledge. These representations are utilized to (i) generate GPT-4-guided visual instruction tuning data at scale, simulating clinician-VLM conversations with demonstrations of clinical reasoning, and (ii) create an automatic reward function that evaluates the clinical validity of VLM generations throughout clinician-VLM interactions. Our algorithm eliminates the need for human involvement in training data generation or reward model construction, reducing costs compared to standard reinforcement learning with human feedback (RLHF). We apply our alignment algorithm to develop Dr-LLaVA, a conversational VLM finetuned for analyzing bone marrow pathology slides, demonstrating strong performance in multi-turn medical conversations.