A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

📄 arXiv: 2405.08603v3 📥 PDF

作者: Hanguang Xiao, Feizhong Zhou, Xingyue Liu, Tianqi Liu, Zhipeng Li, Xin Liu, Xiaoxuan Huang

分类: cs.CL

发布日期: 2024-05-14 (更新: 2024-12-30)

期刊: Information Fusion, 117 (2025) 102888

DOI: 10.1016/j.inffus.2024.102888

💡 一句话要点

综述医学领域大语言模型与多模态大语言模型的发展、应用与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多模态学习 医学人工智能 临床应用 自然语言处理 深度学习 医疗健康 智能医疗

📋 核心要点

  1. 现有医学人工智能模型在理解和处理复杂医学信息方面存在局限性，无法充分满足临床需求。
  2. 本综述旨在系统梳理医学领域LLM和MLLM的发展现状、技术原理和应用前景，为研究者提供参考。
  3. 通过分析现有模型和应用，探讨了医学LLM和MLLM面临的挑战，并提出了未来发展方向的建议。

📝 摘要（中文）

自ChatGPT和GPT-4发布以来，大语言模型(LLM)和多模态大语言模型(MLLM)在理解、推理和生成方面的卓越能力引起了广泛关注，为将人工智能集成到医学领域引入了变革性范式。本综述全面概述了LLM和MLLM在医学领域的发展、原理、应用场景、挑战和未来方向。具体而言，首先考察了范式转变，追溯了从传统模型到LLM和MLLM的过渡，并强调了这些LLM和MLLM在医学应用中的独特优势。其次，综述回顾了现有的医学LLM和MLLM，以清晰和系统的方式提供了关于其构建和评估的详细指导。随后，为了强调LLM和MLLM在医疗保健中的巨大价值，探讨了该领域五个有前景的应用。最后，综述讨论了医学LLM和MLLM面临的挑战，并为它们集成到医学领域提出了切实可行的策略和未来方向。总而言之，本综述全面分析了医学LLM和MLLM的技术方法和实际临床应用，旨在弥合这些先进技术与临床实践之间的差距，从而促进下一代智能医疗系统的发展。

🔬 方法详解

问题定义：医学领域面临着如何有效利用人工智能技术来提升诊断、治疗和管理水平的挑战。传统模型在处理复杂医学文本和图像数据时存在局限性，无法充分理解医学知识和推理临床决策。现有方法难以实现医学知识的深度融合和多模态信息的有效整合，导致模型性能受限。

核心思路：本综述的核心思路是对医学LLM和MLLM进行全面梳理，分析其技术原理、应用场景和面临的挑战。通过总结现有研究成果，为研究者提供系统性的指导，促进医学LLM和MLLM的进一步发展和应用。强调了从传统模型到LLM/MLLM的范式转变，以及LLM/MLLM在医学领域的独特优势。

技术框架：本综述的技术框架主要包括以下几个方面：1) 概述LLM和MLLM的发展历程和基本原理；2) 回顾现有的医学LLM和MLLM，并对其构建和评估方法进行详细分析；3) 探讨LLM和MLLM在医学领域的潜在应用，包括诊断、治疗、药物研发等；4) 分析医学LLM和MLLM面临的挑战，如数据隐私、模型可靠性等；5) 提出未来发展方向的建议，如模型可解释性、多模态融合等。

关键创新：本综述的关键创新在于对医学LLM和MLLM进行了全面的、系统的分析和总结，涵盖了技术原理、应用场景和挑战。与以往的综述相比，本综述更加关注LLM和MLLM在医学领域的最新进展，并对其未来发展方向进行了深入探讨。强调了LLM和MLLM在医学知识理解、临床决策支持等方面的潜力。

关键设计：本综述没有提出新的模型或算法，而是对现有模型和方法进行了梳理和分析。关键设计体现在对现有研究成果的分类和总结，以及对未来发展方向的展望。例如，对医学LLM的构建方法进行了详细的分析，包括数据预处理、模型训练、评估指标等。对LLM在医学领域的应用场景进行了分类，包括诊断、治疗、药物研发等。对LLM面临的挑战进行了分析，包括数据隐私、模型可靠性等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

本综述全面梳理了医学LLM和MLLM的最新进展，详细分析了现有模型的构建方法和评估指标，并探讨了其在诊断、治疗和药物研发等领域的应用潜力。此外，还深入分析了医学LLM和MLLM面临的挑战，并提出了未来发展方向的建议，为相关研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于智能医疗诊断、个性化治疗方案推荐、药物研发加速、医学知识问答系统构建以及远程医疗服务等方面。通过提升医疗效率和质量，有望改善患者的就医体验和健康水平，并推动医疗行业的智能化转型。

📄 摘要（原文）

Since the release of ChatGPT and GPT-4, large language models (LLMs) and multimodal large language models (MLLMs) have attracted widespread attention for their exceptional capabilities in understanding, reasoning, and generation, introducing transformative paradigms for integrating artificial intelligence into medicine. This survey provides a comprehensive overview of the development, principles, application scenarios, challenges, and future directions of LLMs and MLLMs in medicine. Specifically, it begins by examining the paradigm shift, tracing the transition from traditional models to LLMs and MLLMs, and highlighting the unique advantages of these LLMs and MLLMs in medical applications. Next, the survey reviews existing medical LLMs and MLLMs, providing detailed guidance on their construction and evaluation in a clear and systematic manner. Subsequently, to underscore the substantial value of LLMs and MLLMs in healthcare, the survey explores five promising applications in the field. Finally, the survey addresses the challenges confronting medical LLMs and MLLMs and proposes practical strategies and future directions for their integration into medicine. In summary, this survey offers a comprehensive analysis of the technical methodologies and practical clinical applications of medical LLMs and MLLMs, with the goal of bridging the gap between these advanced technologies and clinical practice, thereby fostering the evolution of the next generation of intelligent healthcare systems.