Retrieval-Augmented VLMs for Multimodal Melanoma Diagnosis

📄 arXiv: 2509.08338v1 📥 PDF

作者: Jihyun Moon, Charmgil Hong

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-09-10

备注: Medical Image Computing and Computer-Assisted Intervention (MICCAI) ISIC Skin Image Analysis Workshop (MICCAI ISIC) 2025; 10 pages

💡 一句话要点

提出检索增强的视觉语言模型，用于提升多模态黑色素瘤诊断的准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑色素瘤诊断 视觉语言模型 检索增强学习 多模态学习 临床决策支持

📋 核心要点

  1. 现有基于CNN的黑色素瘤诊断方法忽略临床元数据，且需要大量预处理，限制了诊断效果。
  2. 论文提出检索增强的VLM框架，通过检索语义相似的病例信息融入诊断提示，提升模型对临床特异性的理解。
  3. 实验结果表明，该方法无需微调即可显著提高分类准确率和纠错能力，优于传统基线方法。

📝 摘要（中文）

准确且早期的恶性黑色素瘤诊断对于改善患者预后至关重要。卷积神经网络(CNN)在皮肤镜图像分析中展现了潜力，但它们常常忽略临床元数据，并且需要大量的预处理。视觉语言模型(VLM)提供了一种多模态的替代方案，但在通用领域数据上训练时，难以捕捉临床特异性。为了解决这个问题，我们提出了一种检索增强的VLM框架，该框架将语义相似的患者病例纳入诊断提示中。我们的方法无需微调即可实现知情的预测，并且显著提高了分类准确率和纠错能力，优于传统的基线方法。这些结果表明，检索增强提示为临床决策支持提供了一种稳健的策略。

🔬 方法详解

问题定义：论文旨在解决黑色素瘤诊断中，现有方法（如CNN）对临床元数据利用不足，以及视觉语言模型（VLM）在通用数据上训练时，难以捕捉临床特异性的问题。现有方法的痛点在于诊断精度受限，且需要大量人工预处理。

核心思路：论文的核心思路是利用检索增强学习，将与待诊断病例语义相似的历史病例信息融入到VLM的诊断提示中。通过引入这些临床特异性信息，增强VLM对黑色素瘤的诊断能力，使其能够做出更准确的预测。这样设计的目的是为了弥补VLM在通用数据上训练时对临床知识的不足。

技术框架：整体框架包含以下几个主要阶段：1)病例检索：根据待诊断病例的图像和临床元数据，从历史病例库中检索出语义相似的病例。2)提示构建：将检索到的病例信息融入到VLM的诊断提示中，形成包含临床特异性信息的提示。3)VLM诊断：使用构建好的提示，驱动VLM进行黑色素瘤诊断。4)结果评估：评估VLM的诊断结果，并与基线方法进行比较。

关键创新：最重要的技术创新点在于将检索增强学习应用于多模态黑色素瘤诊断。与传统的VLM方法相比，该方法能够动态地引入与当前病例相关的临床信息，从而提高诊断的准确性和可靠性。本质区别在于，传统VLM依赖于预训练的知识，而该方法能够根据具体病例进行知识增强。

关键设计：论文中关键的设计可能包括：1)病例检索的相似度度量方法，例如使用余弦相似度或更复杂的语义相似度模型。2)提示构建的方式，如何将检索到的病例信息有效地融入到VLM的输入中，例如使用特定的模板或自然语言生成技术。3)VLM的选择和配置，例如使用预训练的CLIP模型或其他多模态模型，并根据具体任务进行微调或提示工程。具体的损失函数和网络结构等细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究提出的检索增强VLM框架在黑色素瘤诊断任务上取得了显著的性能提升。相较于传统基线方法，该方法在分类准确率和纠错能力方面均有明显改善。具体的性能数据和提升幅度在论文中进行了详细的展示，证明了检索增强提示在临床决策支持中的有效性。

🎯 应用场景

该研究成果可应用于临床辅助诊断系统，帮助医生更准确、更快速地诊断黑色素瘤。通过整合图像和临床数据，并利用检索增强的VLM，可以提高诊断的准确性和效率，减少误诊和漏诊，从而改善患者的预后。未来，该技术还可以扩展到其他疾病的诊断中，具有广阔的应用前景。

📄 摘要（原文）

Accurate and early diagnosis of malignant melanoma is critical for improving patient outcomes. While convolutional neural networks (CNNs) have shown promise in dermoscopic image analysis, they often neglect clinical metadata and require extensive preprocessing. Vision-language models (VLMs) offer a multimodal alternative but struggle to capture clinical specificity when trained on general-domain data. To address this, we propose a retrieval-augmented VLM framework that incorporates semantically similar patient cases into the diagnostic prompt. Our method enables informed predictions without fine-tuning and significantly improves classification accuracy and error correction over conventional baselines. These results demonstrate that retrieval-augmented prompting provides a robust strategy for clinical decision support.