BiomedCoOp: Learning to Prompt for Biomedical Vision-Language Models

📄 arXiv: 2411.15232v2 📥 PDF

作者: Taha Koleilat, Hojat Asgariandehkordi, Hassan Rivaz, Yiming Xiao

分类: cs.CV, cs.CL

发布日期: 2024-11-21 (更新: 2025-03-12)

备注: Accepted to CVPR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出BiomedCoOp，通过提示学习提升BiomedCLIP在生物医学图像分类中的准确性和泛化性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学图像分类 视觉-语言模型 提示学习 知识蒸馏 少样本学习

📋 核心要点

  1. 现有视觉-语言模型在生物医学图像分类中面临标注数据少、图像对比度差、特征细微等挑战，且提示工程耗时费力。
  2. BiomedCoOp利用大型语言模型的语义一致性提示集成和基于统计的提示选择策略进行知识蒸馏，实现有效的提示上下文学习。
  3. 在11个医学数据集上的实验表明，BiomedCoOp在准确性和泛化性方面均优于现有方法，证明了其有效性。

📝 摘要（中文）

视觉-语言模型（VLMs），如CLIP，在视觉任务的自监督表征学习方面取得了显著成功。然而，如何有效地将VLMs应用于下游任务仍然具有挑战性，因为它们的准确性通常依赖于耗时且需要专业知识的提示工程，而完整模型微调的成本很高。对于生物医学图像而言尤其如此，与自然图像不同，生物医学图像通常受到带标注数据集有限、图像对比度不直观以及视觉特征细微的限制。最近的提示学习技术，如Context Optimization (CoOp)，旨在解决这些问题，但在泛化性方面仍然不足。同时，生物医学图像分析的提示学习探索仍然非常有限。本文提出了BiomedCoOp，一种新颖的提示学习框架，能够有效调整BiomedCLIP，以实现准确且高度可泛化的少样本生物医学图像分类。我们的方法通过利用来自大型语言模型（LLMs）的平均提示集成的语义一致性以及基于统计的提示选择策略的知识蒸馏，来实现有效的提示上下文学习。我们在9种模态和10个器官的11个医学数据集上对所提出的框架进行了全面验证，并与现有的最先进方法进行了比较，证明了在准确性和泛化性方面的显著改进。代码已公开发布在https://github.com/HealthX-Lab/BiomedCoOp。

🔬 方法详解

问题定义：论文旨在解决生物医学图像分类中，视觉-语言模型（如BiomedCLIP）在少样本学习场景下，由于标注数据有限、图像特征复杂以及提示工程困难导致的准确率和泛化性不足的问题。现有方法，如CoOp，在生物医学图像上的泛化能力仍然有限，且缺乏针对生物医学领域的提示学习探索。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的先验知识，通过提示集成和知识蒸馏来指导BiomedCLIP的提示学习过程。具体来说，首先利用LLMs生成多个语义一致的提示，然后通过平均集成的方式获得更鲁棒的提示表示。接着，利用基于统计的提示选择策略，从集成提示中选择信息量最大的提示，并将其作为知识蒸馏的目标，从而提升BiomedCLIP的性能。

技术框架：BiomedCoOp框架主要包含以下几个模块：1) LLM提示生成模块：利用LLMs生成多个与生物医学图像类别相关的提示。2) 提示集成模块：对生成的多个提示进行平均集成，得到更鲁棒的提示表示。3) 提示选择模块：基于统计方法（如方差分析）选择信息量最大的提示。4) 知识蒸馏模块：利用选择的提示作为目标，对BiomedCLIP进行微调，提升其在生物医学图像分类任务上的性能。

关键创新：论文的关键创新在于：1) 提出了BiomedCoOp框架，将LLMs的先验知识引入到BiomedCLIP的提示学习过程中，有效提升了模型的准确性和泛化性。2) 提出了基于统计的提示选择策略，能够自动选择信息量最大的提示，避免了人工选择提示的繁琐和主观性。3) 将提示集成和知识蒸馏相结合，进一步提升了模型的性能。与现有方法相比，BiomedCoOp更有效地利用了LLMs的知识，并能够自动选择最优提示，从而在生物医学图像分类任务上取得了更好的效果。

关键设计：在提示生成模块，使用了不同的LLM模型和提示模板，以生成多样化的提示。在提示选择模块，使用了方差分析来评估每个提示的信息量。在知识蒸馏模块，使用了交叉熵损失函数来衡量BiomedCLIP的预测结果与目标提示之间的差异。具体的参数设置包括LLM模型的选择、提示模板的设计、方差分析的阈值以及知识蒸馏的学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BiomedCoOp在11个医学数据集上进行了验证，涵盖9种模态和10个器官。实验结果表明，BiomedCoOp在准确性和泛化性方面均优于现有的最先进方法。例如，在某些数据集上，BiomedCoOp的准确率提升了5%以上。此外，BiomedCoOp在少样本学习场景下表现出色，证明了其在数据有限情况下的有效性。

🎯 应用场景

BiomedCoOp在生物医学图像分析领域具有广泛的应用前景，例如疾病诊断、病灶检测、图像分割等。该方法可以帮助医生更准确地识别和诊断疾病，提高医疗效率和质量。此外，该方法还可以应用于药物研发、生物研究等领域，加速相关研究的进展。未来，BiomedCoOp有望成为生物医学图像分析的重要工具。

📄 摘要（原文）

Recent advancements in vision-language models (VLMs), such as CLIP, have demonstrated substantial success in self-supervised representation learning for vision tasks. However, effectively adapting VLMs to downstream applications remains challenging, as their accuracy often depends on time-intensive and expertise-demanding prompt engineering, while full model fine-tuning is costly. This is particularly true for biomedical images, which, unlike natural images, typically suffer from limited annotated datasets, unintuitive image contrasts, and nuanced visual features. Recent prompt learning techniques, such as Context Optimization (CoOp) intend to tackle these issues, but still fall short in generalizability. Meanwhile, explorations in prompt learning for biomedical image analysis are still highly limited. In this work, we propose BiomedCoOp, a novel prompt learning framework that enables efficient adaptation of BiomedCLIP for accurate and highly generalizable few-shot biomedical image classification. Our approach achieves effective prompt context learning by leveraging semantic consistency with average prompt ensembles from Large Language Models (LLMs) and knowledge distillation with a statistics-based prompt selection strategy. We conducted comprehensive validation of our proposed framework on 11 medical datasets across 9 modalities and 10 organs against existing state-of-the-art methods, demonstrating significant improvements in both accuracy and generalizability. The code is publicly available at https://github.com/HealthX-Lab/BiomedCoOp.