Ranking-Aware Prompt Optimization for Multimodal Clinical Diagnosis

📄 arXiv: 2609.40361v1 📥 PDF

作者: Tian Xia, Minghao Liu, Yiqing Liang, Laixi Shi, Jiayun Wang

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出Ranking-PE以优化多模态临床诊断中的提示策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 临床诊断 提示优化 AUROC 配对排序 类不平衡 医疗影像分析

📋 核心要点

  1. 现有的多模态大语言模型在临床诊断中依赖于准确率，导致在类不平衡数据中表现不佳。
  2. 论文提出了基于配对的Pareto提示演化（Ranking-PE），通过配对排序优化提示选择，提升模型性能。
  3. 在MIMIC数据集上，Ranking-PE在多个疾病的AUROC上分别提高了5.8和16.2个百分点，显著优于传统方法。

📝 摘要（中文）

多模态大语言模型（MLLMs）在临床诊断中迅速发展，但其适应性流程仍然依赖于基于准确率的目标。临床数据严重失衡，常规的多数预测器可能在准确率上超过90%，但临床上却毫无用处。因此，我们评估并优化AUROC，这是一种阈值无关的评分，能够将正例排在负例之上，并且不受类别平衡的影响。我们专注于MLLMs中的提示优化，提出了基于配对的Pareto提示演化（Ranking-PE），通过替换每个正确性行，使用正负实例对的配对排序行来优化提示选择。实验结果表明，Ranking-PE在多个疾病的诊断中显著提高了AUROC，优于传统的基于准确率的方法。

🔬 方法详解

问题定义：论文要解决的问题是多模态大语言模型在临床诊断中对类不平衡数据的适应性不足，现有方法依赖于准确率，可能导致临床无效的预测。

核心思路：论文提出的核心思路是通过配对排序来优化提示选择，使用AUROC作为评估标准，避免了准确率的局限性。这样的设计使得模型能够更好地处理类不平衡问题，关注正例的相对排名。

技术框架：整体架构包括三个主要模块：1) 评分矩阵的构建，决定Pareto优越性；2) 针对每个示例的反馈，反映在提示优化中；3) 最终候选提示的选择，所有步骤均不增加模型调用次数。

关键创新：最重要的技术创新点在于将每个正确性行替换为配对排序行，利用Wilcoxon-Mann-Whitney身份计算AUROC，从而实现了更有效的提示演化。

关键设计：关键设计包括使用配对实例的排序来替代传统的准确率计算，确保在所有层面上都能有效地进行提示优化，同时强调医疗级视觉骨干的重要性。实验表明，视觉编码器的微调或医疗预训练是提示搜索不可替代的前提。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在MIMIC数据集上，Ranking-PE方法在多个疾病的AUROC上分别提高了5.8和16.2个百分点，显著优于传统的基于准确率的提示演化方法，展示了其在临床诊断中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持系统和智能诊断工具。通过优化多模态大语言模型的提示策略，可以提高临床诊断的准确性和效率，最终改善患者的治疗效果。未来，该方法有望推广到其他医疗领域，推动人工智能在医疗行业的应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) are rapidly advancing clinical diagnosis, yet their adaptation pipelines remain anchored to accuracy-based objectives. Clinical data are heavily class-imbalanced: a constant-majority predictor can score above 90% accuracy while being clinically useless. We therefore evaluate and optimize for AUROC, a threshold-free score that ranks positives above negatives and is invariant to class balance. We focus on prompt optimization in MLLMs. Reflective methods such as GEPA use a binary scores matrix with one row per evaluation instance and one column per candidate prompt; cells record per-instance correctness, so the column average is accuracy and drives candidate selection. We introduce pair-level Pareto prompt evolution (Ranking-PE), which replaces each correctness row with a pairwise-ordering row over (positive, negative) instance pairs: the cell is 1 if the candidate scores the positive higher than the paired negative. The column average then equals empirical AUROC (by the Wilcoxon-Mann-Whitney identity). We apply this swap at all three layers the prompt evolution search reads from - the scores matrix that decides Pareto dominance, the per-example feedback to the reflection LM, and final candidate selection - at no extra model calls and with no surrogate loss. Across three diseases on MIMIC, accuracy-based prompt evolution can degrade ranking; Ranking-PE reverses this, beating the accuracy-based recipe by +5.8 AUROC pp on fine-tuned Qwen3-VL-8B and +16.2 pp on MedGemma-4B. Ablations examine each design component and show that a medical-grade visual backbone - via vision-encoder-tuned SFT or medical pretraining - is a prerequisite that prompt search cannot replace - our recipe extends reflective prompt evolution from text-only data to multimodal clinical decision-making.