In-Context Learning for Wound Classification with Small Multimodal Language Models

📄 arXiv: 2607.18819v1 📥 PDF

作者: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

分类: cs.CV

发布日期: 2026-07-21

💡 一句话要点

提出小型多模态语言模型以解决伤口分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 伤口分类 小型多模态语言模型 上下文学习 检索学习 医疗图像分析 无监督学习 模型适应性

📋 核心要点

  1. 现有的伤口图像分类方法依赖于大量手动标注数据，且在环境变化时需重新训练，效率低下。
  2. 本研究提出使用小型多模态语言模型，通过检索基础的上下文学习，避免了传统的训练过程。
  3. 实验结果显示，Qwen 3.5 27B模型在Kaggle数据集上达到了0.872的准确率和0.871的F1分数，表现优于零-shot和随机few-shot提示。

📝 摘要（中文）

伤口图像分类通常被视为特定任务的监督学习问题，需要大量手动标注的数据，并且在标签空间或部署环境变化时需要重新训练。本研究评估了小型多模态语言模型（SMLMs）是否可以通过基于检索的上下文学习（ICL）提供一种无训练的伤口分类替代方案。实验使用了两个公共伤口图像数据集：Kaggle伤口数据集（1469张图像，10个类别）和Medetec数据集（560张图像，9个类别）。结果表明，基于检索的ICL在适应性伤口图像分类中表现优异，且无需特定任务的重新训练。

🔬 方法详解

问题定义：本研究旨在解决伤口图像分类中对大量手动标注数据和频繁重新训练的依赖，现有方法在标签空间或部署环境变化时效率低下。

核心思路：论文提出通过小型多模态语言模型（SMLMs）结合基于检索的上下文学习（ICL）来进行伤口分类，避免了传统的训练过程，使得模型能够适应不同的任务和环境。

技术框架：整体架构包括数据集的选择、模型的选择与评估、检索策略的应用（如kNN和MMR），以及对比实验设计。主要模块包括数据预处理、模型推理、检索与重排序。

关键创新：最重要的创新点在于利用小型多模态语言模型进行无训练的伤口分类，尤其是通过检索增强的上下文学习，显著提升了分类性能，与传统方法相比具有更高的灵活性和适应性。

关键设计：在实验中，采用了11种不同的SMLMs，使用了零-shot和few-shot提示，结合随机支持示例和基于嵌入的kNN检索，关键参数包括支持图像数量和上下文大小的调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Qwen 3.5 27B模型在Kaggle数据集上达到了0.872的准确率和0.871的F1分数，优于传统的零-shot和随机few-shot提示。Medetec数据集上也取得了0.678的准确率和0.670的F1分数，表明基于检索的ICL方法具有良好的适应性。

🎯 应用场景

该研究的潜在应用领域包括医疗图像分析、远程医疗和智能诊断系统。通过使用小型多模态语言模型，能够在资源有限的情况下实现高效的伤口分类，具有重要的实际价值和未来影响，尤其是在隐私保护和数据安全方面。

📄 摘要（原文）

Wound image classification is often treated as a task-specific supervised learning problem, requiring substantial amounts of manually labelled data and retraining when the label space or deployment setting changes. This study evaluated whether small multimodal language models (SMLMs) can provide a training-free alternative for wound classification through retrieval-based in-context learning (ICL). Experiments used two public wound-image datasets: the Kaggle wound dataset (1469 images, 10 classes) and the Medetec dataset (560 images, 9 classes). Eleven SMLMs from the Qwen 3.5, Ministral 3, and Gemma 4 families were evaluated under zero-shot prompting and few-shot prompting with random support examples, embedding-based k-nearest-neighbour (kNN) retrieval, and kNN retrieval followed by maximal marginal relevance reranking (MMR). Retrieval-only weighted-kNN controls, support-set reduction experiments, and support-context size sweeps were used to assess the effects of retrieval, model scale, and prompt length. Query-conditioned ICL consistently outperformed zero-shot and random few-shot prompting. On the Kaggle dataset, the best result was achieved by Qwen 3.5 27B with kNN+MMR, reaching 0.872 accuracy and 0.871 F1 score. On Medetec, Qwen 3.5 27B with kNN+MMR reached 0.678 accuracy and 0.670 F1. Larger models exceeded matched weighted-kNN controls, indicating use of retrieved examples beyond nearest-neighbour voting. Retrieval-based ICL degraded modestly under support-set reduction, and most gains saturated with 8-10 support images. Retrieval-based ICL allows SMLMs to perform adaptable wound image classification without task-specific retraining. Compact retrieved contexts may support practical and privacy-conscious deployment, although performance remains dependent on model scale, retrieval strategy, and dataset difficulty.