Instruction-Free Tuning of Large Vision Language Models for Medical Instruction Following

📄 arXiv: 2603.19482v1 📥 PDF

作者: Myeongkyun Kang, Soopil Kim, Xiaoxiao Li, Sang Hyun Park

分类: cs.CV

发布日期: 2026-03-19

💡 一句话要点

提出免指令调优方法，提升医学视觉语言模型在指令跟随任务上的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 医学影像 指令跟随 免指令调优 深度学习

📋 核心要点

  1. 医学领域缺乏大规模高质量的图像-指令-输出数据集，限制了视觉语言模型（LVLM）的微调效果。
  2. 提出免指令调优方法，使用图像-描述对进行微调，并引入动量代理指令来保持指令跟随能力。
  3. 在多个医学数据集上，该方法在视觉问答任务中达到SOTA，显著提升了LVLM的微调效率。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在各种任务中表现出令人印象深刻的性能。这些能力主要源于视觉指令调优，即在由精心策划的图像-指令-输出三元组组成的数据集上对模型进行微调。然而，在医学领域，由于需要专业的专家知识，构建大规模、高质量的指令数据集尤其具有挑战性。为了解决这个问题，我们提出了一种免指令调优方法，该方法减少了对手工指令的依赖，仅利用图像-描述对进行微调。具体来说，我们引入了动量代理指令作为手工文本指令的替代，它保留了预训练LVLM的指令跟随能力，同时促进了在推理过程中保持有效的参数更新。因此，即使在微调期间没有明确的指令，微调后的LVLM也可以灵活地响应特定领域的指令。此外，我们还采用了一种响应洗牌策略来减轻模型对先前单词的过度依赖，从而促进更有效的微调。我们的方法在SKINCON、WBCAtt、CBIS和MIMIC-CXR数据集上的多项选择视觉问答任务中实现了最先进的准确率，显著提高了LVLM在医学领域的微调效率。

🔬 方法详解

问题定义：论文旨在解决医学领域中，由于缺乏高质量的图像-指令-输出数据集，导致大型视觉语言模型（LVLM）难以进行有效微调的问题。现有方法依赖于人工构建指令，成本高昂且需要专业知识，限制了模型在医学领域的应用。

核心思路：论文的核心思路是提出一种免指令调优方法，避免人工构建指令，仅使用图像-描述对进行微调。通过引入动量代理指令，保留预训练LVLM的指令跟随能力，并促进模型参数的有效更新，使其能够灵活响应特定领域的指令。

技术框架：该方法主要包含以下几个关键模块：1) 使用图像-描述对作为训练数据；2) 引入动量代理指令，作为手工指令的替代；3) 使用响应洗牌策略，减轻模型对先前单词的过度依赖。整体流程是，首先使用图像和对应的描述，通过动量代理指令进行微调，然后使用响应洗牌策略进一步优化模型。

关键创新：该方法最重要的创新点在于提出了免指令调优的框架，摆脱了对人工标注指令的依赖，降低了微调成本，并提高了模型在医学领域的泛化能力。动量代理指令和响应洗牌策略是该框架的关键组成部分，分别用于保持指令跟随能力和减轻模型对先前单词的依赖。

关键设计：动量代理指令的具体实现方式未知，但其目的是模拟人工指令的作用，引导模型学习图像和描述之间的关系。响应洗牌策略的具体实现方式也未知，但其目的是通过随机打乱生成文本的顺序，防止模型过度依赖于之前的输出，从而提高模型的生成能力。损失函数和网络结构等细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在SKINCON、WBCAtt、CBIS和MIMIC-CXR等多个医学数据集上的多项选择视觉问答任务中取得了state-of-the-art的准确率，表明该方法能够显著提升LVLM在医学领域的微调效率和性能。具体的性能提升幅度未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于医学影像诊断、辅助医疗决策等领域。通过提升视觉语言模型在医学领域的性能，可以帮助医生更准确地理解医学图像，提高诊断效率和准确性。未来，该方法有望推广到其他缺乏高质量标注数据的领域，促进人工智能在医疗健康领域的应用。

📄 摘要（原文）

Large vision language models (LVLMs) have demonstrated impressive performance across a wide range of tasks. These capabilities largely stem from visual instruction tuning, which fine-tunes models on datasets consisting of curated image-instruction-output triplets. However, in the medical domain, constructing large-scale, high-quality instruction datasets is particularly challenging due to the need for specialized expert knowledge. To address this issue, we propose an instruction-free tuning approach that reduces reliance on handcrafted instructions, leveraging only image-description pairs for fine-tuning. Specifically, we introduce a momentum proxy instruction as a replacement for curated text instructions, which preserves the instruction-following capability of the pre-trained LVLM while promoting updates to parameters that remain valid during inference. Consequently, the fine-tuned LVLM can flexibly respond to domain-specific instructions, even though explicit instructions are absent during fine-tuning. Additionally, we incorporate a response shuffling strategy to mitigate the model's over-reliance on previous words, facilitating more effective fine-tuning. Our approach achieves state-of-the-art accuracy on multiple-choice visual question answering tasks across SKINCON, WBCAtt, CBIS, and MIMIC-CXR datasets, significantly enhancing the fine-tuning efficiency of LVLMs in medical domains.