The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology

📄 arXiv: 2409.12973v1 📥 PDF

作者: Inwoo Seo, Eunkyoung Bae, Joo-Young Jeon, Young-Sang Yoon, Jiho Cha

分类: cs.CV, cs.AI

发布日期: 2024-09-03

备注: 25 pages,3 figures, 4 tables, submitted to NPJ imaging

💡 一句话要点

综述性研究：大型生成AI在医学影像领域临床价值及未来发展方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 大型生成AI 大型语言模型 多模态模型 临床价值 综述研究

📋 核心要点

  1. 放射科医生短缺加剧，现有AI方案在医学影像全流程应用中仍存在局限性。
  2. 综述性研究旨在系统整理大型生成AI在医学影像领域应用的临床价值相关文献。
  3. 研究表明，LLMs和多模态模型在特定领域表现出色，但诊断性能尚未超越放射科医生。

📝 摘要（中文）

放射科医生短缺问题日益严重，人工智能被视为潜在解决方案。近年来，大型生成AI已从大型语言模型（LLMs）扩展到多模态模型，展现出彻底改变医学影像全流程的潜力。然而，目前缺乏对其发展现状和未来挑战的全面综述。本研究遵循PCC指南，系统地整理了现有关于大型生成AI应用临床价值的文献。通过对PubMed、EMbase、IEEE-Xplore和Google Scholar四个数据库进行系统检索，并对符合纳入/排除标准的15项研究进行了综述。这些研究主要集中在提高报告生成效率或翻译报告以帮助患者理解，最新的研究扩展到执行直接解释的AI应用。所有研究都经过临床医生的定量评估，大多数使用LLMs，只有三项使用多模态模型。LLMs和多模态模型在特定领域表现出色，但尚未有模型在诊断性能上超越放射科医生。大多数研究使用GPT，很少使用专门针对医学影像领域的模型。本研究深入了解了基于大型生成AI的医学影像应用的现状和局限性，提供了基础数据，并表明医学影像基础模型的时代即将到来，这可能会从根本上改变临床实践。

🔬 方法详解

问题定义：论文旨在解决放射科医生短缺带来的社会问题，并探讨大型生成AI在医学影像领域的应用潜力。现有方法主要集中在报告生成和翻译，缺乏对AI直接进行影像判读的深入研究，且缺乏对现有研究的系统性综述。

核心思路：通过系统性地回顾和分析现有文献，评估大型生成AI在医学影像领域的临床价值，并识别其局限性和未来发展方向。核心在于总结现有研究的成果，并为未来的研究提供基础数据。

技术框架：该研究采用Scoping Review方法，遵循PCC（Population, Concept, Context）指南。首先，在PubMed、EMbase、IEEE-Xplore和Google Scholar四个数据库进行系统检索。然后，根据预设的纳入/排除标准筛选文献。最后，对筛选出的15项研究进行综述和分析，包括研究目标、采用的模型、评估方法和结果。

关键创新：该研究是对大型生成AI在医学影像领域应用的一次系统性综述，填补了该领域缺乏全面评估的空白。它不仅总结了现有研究的成果，还指出了当前模型的局限性，并展望了医学影像基础模型的未来发展方向。

关键设计：研究采用了PCC指南进行文献筛选和分析，确保了综述的系统性和全面性。研究关注了LLMs和多模态模型在医学影像领域的应用，并对这些模型在不同任务中的表现进行了评估。研究还特别关注了模型是否经过医学影像领域的专门训练，以及评估方法是否符合临床需求。

📊 实验亮点

研究结果表明，LLMs和多模态模型在医学影像的特定任务中表现出色，例如报告生成和翻译，但尚未在诊断性能上超越放射科医生。大多数研究使用通用GPT模型，而专门针对医学影像领域训练的模型较少。这表明，未来需要更多针对医学影像领域定制的模型，以提升AI在诊断方面的能力。

🎯 应用场景

该研究为医学影像领域的AI应用提供了重要的参考价值，可应用于辅助诊断、报告生成、患者教育等多个方面。通过了解现有技术的局限性，可以指导未来的研究方向，加速医学影像基础模型的开发，最终提升诊断效率和准确性，改善患者的医疗体验。

📄 摘要（原文）

Social problems stemming from the shortage of radiologists are intensifying, and artificial intelligence is being highlighted as a potential solution. Recently emerging large-scale generative AI has expanded from large language models (LLMs) to multi-modal models, showing potential to revolutionize the entire process of medical imaging. However, comprehensive reviews on their development status and future challenges are currently lacking. This scoping review systematically organizes existing literature on the clinical value of large-scale generative AI applications by following PCC guidelines. A systematic search was conducted across four databases: PubMed, EMbase, IEEE-Xplore, and Google Scholar, and 15 studies meeting the inclusion/exclusion criteria set by the researchers were reviewed. Most of these studies focused on improving the efficiency of report generation in specific parts of the interpretation process or on translating reports to aid patient understanding, with the latest studies extending to AI applications performing direct interpretations. All studies were quantitatively evaluated by clinicians, with most utilizing LLMs and only three employing multi-modal models. Both LLMs and multi-modal models showed excellent results in specific areas, but none yet outperformed radiologists in diagnostic performance. Most studies utilized GPT, with few using models specialized for the medical imaging domain. This study provides insights into the current state and limitations of large-scale generative AI-based applications in the medical imaging field, offering foundational data and suggesting that the era of medical imaging foundation models is on the horizon, which may fundamentally transform clinical practice in the near future.