Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

📄 arXiv: 2610.13675v1 📥 PDF

作者: Tran Cao Minh, Hai Tran, Ha Minh Tan

分类: eess.IV, cs.CV

发布日期: 2026-10-09

💡 一句话要点

基于多模态决策模型的乳腺超声图像分类研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乳腺超声 多模态决策模型 图像分类 性能评估 深度学习

📋 核心要点

  1. 现有的乳腺超声图像分类方法在准确性和效率上存在不足，尤其是在处理不同类型的图像时表现不一。
  2. 本研究提出了使用多模态决策模型，通过不同的提示设计来优化乳腺超声图像的分类性能。
  3. 实验结果显示，CLEF-Flash模型在所有数据集上均取得了最高的准确率，且在延迟方面表现优于其他模型。

📝 摘要（中文）

本研究探讨了多模态决策模型在乳腺超声图像分类中的应用，基于2818幅图像对CLEF和CLEF-Flash进行了基准测试。研究发现，CLEF-Flash在所有数据集上均表现出最高的准确率，但在特定任务引导下，CLEF模型在宏观F1和均衡准确率上表现更佳。实验结果表明，数据集和提示的选择对模型性能有显著影响，提示的设计也会影响模型的准确性和延迟。

🔬 方法详解

问题定义：本研究旨在解决乳腺超声图像分类中的准确性和效率问题，现有方法在不同数据集上表现不一，且存在较高的误分类率。

核心思路：通过引入多模态决策模型，结合不同的提示设计，优化图像分类的过程，以提高分类的准确性和降低延迟。

技术框架：研究使用了CLEF和CLEF-Flash两种模型，分别在2818幅乳腺超声图像上进行评估。模型参数保持不变，原始图像未经用户定义的预处理。

关键创新：本研究的创新点在于通过不同的提示（如最小标签、明确分类任务、超声标准）来评估模型性能，揭示了提示设计对分类结果的影响。

关键设计：在实验中，使用了准确率、宏观F1、均衡准确率等多种评估指标，CLEF-Flash在临床提示下的准确率达到了74.85%，而在特定任务引导下，CLEF模型的宏观F1达到了64.51%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CLEF-Flash模型在Dataset B、BUSI和BUS-BRA上的准确率分别为74.85%、66.28%和51.63%。在BUSI数据集上，CLEF模型在任务引导提示下的宏观F1达到了64.51%，均衡准确率为68.72%。此外，CLEF-Flash在所有比较中均表现出更低的延迟。

🎯 应用场景

该研究的成果可广泛应用于医学影像分析，尤其是在乳腺癌的早期筛查和诊断中，能够为临床医生提供更为准确的决策支持。未来，研究成果有望推广至其他类型的医学图像分类任务，提升整体医疗服务质量。

📄 摘要（原文）

Multimodal decision models return probabilities over predefined alternatives, offering a structured interface for image classification. This study benchmarks inference with CLEF and CLEF-Flash on 2818 breast ultrasound images from Dataset B, BUSI, and BUS-BRA. Dataset B and BUS-BRA use binary benign-malignant classification, whereas BUSI includes normal, benign, and malignant categories. Model parameters remain unchanged, and original images are submitted without user-defined preprocessing. Three prompts provide minimal labels, an explicit classification task, or sonographic criteria. We report accuracy, macro F1, balanced accuracy, macro precision, throughput, and latency. CLEF-Flash with the clinical prompt achieves the highest accuracy on all three datasets: 74.85% on Dataset B, 66.28% on BUSI, and 51.63% on BUS-BRA. On BUSI, however, CLEF with the task-guided prompt achieves the highest macro F1 (64.51%) and balanced accuracy (68.72%). CLEF-Flash has lower latency in every matched comparison. Clinical instructions improve CLEF-Flash accuracy relative to the minimal prompt but reduce CLEF accuracy on all datasets. Confusion matrices reveal frequent benign-to-malignant errors, particularly on BUS-BRA, where all configurations fall below the 67.63% accuracy of a majority-class predictor. These findings demonstrate dataset-and prompt-dependent performance and motivate class-specific evaluation before applying multimodal decision models to breast ultrasound analysis.