Ultrasound-QBench: Can LLMs Aid in Quality Assessment of Ultrasound Imaging?

📄 arXiv: 2501.02751v1 📥 PDF

作者: Hongyi Miao, Jun Jia, Yankun Cao, Yingjie Zhou, Yanwei Jiang, Zhi Liu, Guangtao Zhai

分类: eess.IV, cs.CV, cs.MM

发布日期: 2025-01-06

💡 一句话要点

Ultrasound-QBench：利用多模态大语言模型辅助超声图像质量评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超声图像质量评估 多模态大语言模型 医学影像 基准数据集 质量控制

📋 核心要点

  1. 超声检查量激增导致低质量图像增加，影响诊断准确性，现有方法难以有效评估图像质量。
  2. 提出 Ultrasound-QBench 基准，利用多模态大语言模型进行超声图像质量的定性、定量和比较评估。
  3. 实验表明，多模态大语言模型在超声图像质量分类方面展现出初步能力，为医学成像应用提供新思路。

📝 摘要（中文）

随着超声检查数量的急剧增加，由于操作者熟练程度和成像环境的差异，低质量的超声图像逐渐增多，给诊断准确性带来了严重负担，甚至可能导致在关键情况下需要重新诊断。为了帮助临床医生选择高质量的超声图像并确保准确的诊断，我们推出了 Ultrasound-QBench，这是一个综合性的基准，系统地评估了多模态大语言模型（MLLM）在超声图像质量评估任务中的能力。Ultrasound-QBench建立了两个来自不同来源的数据集：IVUSQA（包含7,709张图像）和CardiacUltraQA（包含3,863张图像）。这些图像涵盖了常见的超声成像伪影，并由专业的超声专家进行标注，分为高、中、低三个质量等级。为了更好地评估MLLM，我们将质量评估任务分解为三个维度：定性分类、定量评分和比较评估。对7个开源MLLM以及1个专有MLLM的评估表明，MLLM在超声图像质量分类的低级视觉任务中具有初步能力。我们希望这个基准能够激发研究界更深入地挖掘和增强MLLM在医学成像任务中未开发的潜力。

🔬 方法详解

问题定义：论文旨在解决超声图像质量评估问题。现有方法主要依赖人工评估，效率低且主观性强。随着超声检查数量的增加，低质量图像的出现对诊断准确性构成威胁，因此需要一种自动化的、客观的质量评估方法。

核心思路：论文的核心思路是利用多模态大语言模型（MLLM）理解超声图像的内容和特征，并结合专家知识进行质量评估。通过将图像和文本信息融合，MLLM可以学习到图像质量与伪影、清晰度等因素之间的关系。

技术框架：Ultrasound-QBench 包含两个数据集：IVUSQA 和 CardiacUltraQA。质量评估任务被分解为三个维度：定性分类（高、中、低质量）、定量评分（质量分数）和比较评估（两张图像质量比较）。使用 MLLM 作为核心模型，输入超声图像和相关文本描述，输出质量评估结果。

关键创新：该研究的关键创新在于首次将多模态大语言模型应用于超声图像质量评估，并构建了专门的基准数据集 Ultrasound-QBench。通过多维度评估，更全面地考察了 MLLM 在该任务上的能力。

关键设计：数据集包含由专家标注的图像，分为三个质量等级。评估指标包括分类准确率、评分误差等。论文评估了多个开源和专有的 MLLM，并分析了它们在不同维度上的表现。具体模型结构和训练细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，多模态大语言模型在超声图像质量分类任务中表现出初步能力。虽然具体性能数据未在摘要中给出，但该研究验证了 MLLM 在医学图像质量评估方面的潜力，为后续研究奠定了基础。

🎯 应用场景

该研究成果可应用于临床超声图像的自动质量控制，辅助医生快速筛选高质量图像，提高诊断效率和准确性。未来可扩展到其他医学影像模态，并与临床决策支持系统集成，为患者提供更精准的医疗服务。

📄 摘要（原文）

With the dramatic upsurge in the volume of ultrasound examinations, low-quality ultrasound imaging has gradually increased due to variations in operator proficiency and imaging circumstances, imposing a severe burden on diagnosis accuracy and even entailing the risk of restarting the diagnosis in critical cases. To assist clinicians in selecting high-quality ultrasound images and ensuring accurate diagnoses, we introduce Ultrasound-QBench, a comprehensive benchmark that systematically evaluates multimodal large language models (MLLMs) on quality assessment tasks of ultrasound images. Ultrasound-QBench establishes two datasets collected from diverse sources: IVUSQA, consisting of 7,709 images, and CardiacUltraQA, containing 3,863 images. These images encompassing common ultrasound imaging artifacts are annotated by professional ultrasound experts and classified into three quality levels: high, medium, and low. To better evaluate MLLMs, we decompose the quality assessment task into three dimensionalities: qualitative classification, quantitative scoring, and comparative assessment. The evaluation of 7 open-source MLLMs as well as 1 proprietary MLLMs demonstrates that MLLMs possess preliminary capabilities for low-level visual tasks in ultrasound image quality classification. We hope this benchmark will inspire the research community to delve deeper into uncovering and enhancing the untapped potential of MLLMs for medical imaging tasks.