Representation-guided in-context learning for medical image interpretation with multimodal large language models

📄 arXiv: 2609.24057v1 📥 PDF

作者: Minda Zhao, Fangyu Hu, Yan Luo, Yutong Yang, Jiahui Cai, Kaichen Zhou, Manling Li, Paul Liang, Yilun Du, Lucy Q. Shen, Mengyu Wang

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出基于表示引导的上下文学习以解决医学图像解读问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像解读 多模态大语言模型 上下文学习 视觉问答 无训练推理 示例检索 领域适应性

📋 核心要点

  1. 现有方法在医学图像解读中通常需要资源密集型的领域特定微调，限制了其应用的灵活性和效率。
  2. 论文提出的RG-ICL方法通过冻结编码器，利用查询对齐的示例进行推理，避免了任务特定的参数更新。
  3. 实验结果显示，RG-ICL在分类和视觉问答任务中分别提升了20和13个百分点，表现接近或超过传统训练方法。

📝 摘要（中文）

医学图像解读对诊断和护理至关重要，但适应通用多模态大语言模型（MLLMs）通常需要资源密集型的领域特定微调。本文提出了一种训练无关的推理框架——表示引导的上下文学习（RG-ICL），通过冻结编码器检索与查询对齐的示例，而无需任务特定的参数更新。在八个涵盖组织病理学、放射学和视网膜底照相的数据库中，RG-ICL在分类（平均提升20个百分点）和视觉问答（VQA，平均提升13个百分点）方面优于无上下文和传统的ICL，接近或超过基于训练的比较方法。检索的案例数量比质量更为重要：6个与查询对齐的案例优于多达32个随机选择的案例，而固定或随机案例往往降低准确性。对于VQA，将参考案例与图像内容和问题意图对齐进一步提升了效果。这些发现表明，在医学图像解读中，策划MLLM所见的参考案例是重训练的实用替代方案。

🔬 方法详解

问题定义：本文旨在解决医学图像解读中通用多模态大语言模型（MLLMs）适应性差的问题，现有方法需要大量资源进行领域特定微调，效率低下。

核心思路：RG-ICL通过冻结编码器，利用与查询对齐的示例进行推理，避免了传统方法中的参数更新，从而实现了训练无关的高效推理。

技术框架：RG-ICL的整体架构包括三个主要模块：首先是查询输入模块，其次是示例检索模块，最后是推理输出模块。通过这三个模块的协同工作，RG-ICL能够高效地进行医学图像解读。

关键创新：RG-ICL的核心创新在于其训练无关的推理框架，强调了检索案例的质量而非数量，显著提高了医学图像解读的准确性。

关键设计：在设计上，RG-ICL使用了固定的编码器和查询对齐的示例，避免了传统方法中的参数更新，同时在VQA任务中通过对齐图像内容和问题意图进一步提升了性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，RG-ICL在分类任务中平均提升了20个百分点，在视觉问答任务中平均提升了13个百分点，且在使用6个查询对齐案例时的表现优于使用32个随机选择案例的情况，显示出其在医学图像解读中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、临床决策支持系统和智能医疗助手等。通过减少对领域特定微调的依赖，RG-ICL能够提高医学图像解读的效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Medical image interpretation is central to diagnosis and care, yet adapting general-purpose multimodal large language models (MLLMs) often requires resource-intensive domain-specific fine-tuning. Here we introduce representation-guided in-context learning (RG-ICL), a training-free inference framework that retrieves query-aligned demonstrations using frozen encoders, without task-specific parameter updates. Across eight datasets spanning histopathology, radiology and retinal fundoscopy, RG-ICL improved classification (mean gain 20 percentage points) and visual question answering (VQA) (mean gain 13 percentage points) over no-context and conventional ICL, approaching or exceeding training-based comparators. Which cases were retrieved mattered more than how many: 6 query-aligned cases outperformed up to 32 randomly selected ones, whereas fixed or random cases often reduced accuracy below baseline. For VQA, aligning reference cases with both image content and question intent produced further gains. These findings indicate that for medical image interpretation, curating which reference cases an MLLM sees is a practical alternative to retraining it.