MedGo: A Chinese Medical Large Language Model

📄 arXiv: 2410.20428v1 📥 PDF

作者: Haitao Zhang, Bo An

分类: cs.CL, cs.AI

发布日期: 2024-10-27

备注: 12 pages, 1 figure

💡 一句话要点

MedGo：一个用于提升中文医疗服务质量的医学大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学大型语言模型 中文医学信息处理 临床决策支持 医学问答 CBLUE基准测试

📋 核心要点

  1. 现有大型语言模型在医疗领域的应用受限于准确性不足和专业能力范围狭窄。
  2. MedGo通过结合高质量的无监督、监督和偏好对齐数据训练，提升模型在医学任务中的通用性和精确性。
  3. 实验结果表明，MedGo在CBLUE基准测试中取得领先，并在ClinicalQA数据集上优于Qwen2。

📝 摘要（中文）

大型语言模型是人工智能领域的研究热点。利用其生成能力，有可能提高医疗服务的水平和质量。针对当前大型语言模型在医疗应用中准确性不足、能力范围狭窄等局限性，本文提出了一个中文医学大型语言模型MedGo。MedGo通过高质量的无监督医学数据、监督数据和偏好对齐数据进行训练，旨在提高其在医学任务中的通用性和精确性。该模型通过公开的CBLUE基准测试和手动构建的数据集ClinicalQA进行评估。结果表明，MedGo在各种中文医学信息处理任务中取得了有希望的性能，并在CBLUE评估中名列前茅。此外，在我们构建的数据集ClinicalQA上，MedGo优于其基础模型Qwen2，突显了其在改进自动医学问答和临床决策支持方面的潜力。这些实验结果表明，MedGo在医学领域具有强大的信息处理能力。目前，我们已成功在上海东方医院部署MedGo。

🔬 方法详解

问题定义：当前的大型语言模型在处理中文医学信息时，面临着专业知识不足、准确性不高的问题。现有的通用大模型难以胜任复杂的医学问答、临床决策支持等任务，限制了其在医疗领域的应用。

核心思路：MedGo的核心思路是构建一个专门针对中文医学领域的大型语言模型，通过高质量的医学数据进行训练，提升模型在医学领域的知识储备和推理能力。同时，利用监督数据和偏好对齐数据，进一步优化模型的输出质量，使其更符合医疗领域的专业规范。

技术框架：MedGo的训练流程主要包括三个阶段：首先，使用大规模的无监督医学数据进行预训练，使模型学习到医学领域的通用知识；然后，使用监督数据进行微调，使模型能够完成特定的医学任务，如医学问答、疾病诊断等；最后，使用偏好对齐数据进行优化，使模型的输出更符合医生的偏好和临床实践。

关键创新：MedGo的关键创新在于其针对中文医学领域的定制化训练策略。通过结合无监督、监督和偏好对齐数据，有效地提升了模型在医学领域的知识储备、推理能力和输出质量。此外，MedGo在CBLUE基准测试中取得的领先地位，也证明了其在中文医学信息处理方面的优越性能。

关键设计：MedGo使用了Qwen2作为基础模型，并在此基础上进行了针对医学领域的微调。在数据方面，MedGo使用了大量的中文医学文本数据，包括医学书籍、期刊、临床指南等。在训练过程中，使用了交叉熵损失函数和AdamW优化器。此外，还采用了数据增强、知识蒸馏等技术，进一步提升模型的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

MedGo在CBLUE基准测试中取得了第一名的成绩，证明了其在中文医学信息处理方面的优越性能。此外，在手动构建的ClinicalQA数据集上，MedGo的表现也优于其基础模型Qwen2，表明其在医学问答和临床决策支持方面具有显著的提升。这些实验结果充分证明了MedGo在医学领域的应用潜力。

🎯 应用场景

MedGo在医疗领域具有广泛的应用前景，例如：自动医学问答，可以为患者和医生提供快速、准确的医学信息；临床决策支持，可以辅助医生进行疾病诊断和治疗方案制定；医学知识库构建，可以为医学研究人员提供丰富的医学资源。MedGo的成功部署将有助于提升医疗服务的效率和质量，改善患者的就医体验。

📄 摘要（原文）

Large models are a hot research topic in the field of artificial intelligence. Leveraging their generative capabilities has the potential to enhance the level and quality of medical services. In response to the limitations of current large language models, which often struggle with accuracy and have narrow capabilities in medical applications, this paper presents a Chinese medical large language model, MedGo. MedGo was trained using a combination of high quality unsupervised medical data, supervised data, and preference alignment data, aimed at enhancing both its versatility and precision in medical tasks. The model was evaluated through the public CBLUE benchmark and a manually constructed dataset ClinicalQA. The results demonstrate that MedGo achieved promising performance across various Chinese medical information processing tasks, achieved the first place in the CBLUE evaluation. Additionally, on our constructed dataset ClinicalQA, MedGo outperformed its base model Qwen2, highlighting its potential to improve both automated medical question answering and clinical decision support. These experimental results demonstrate that MedGo possesses strong information processing capabilities in the medical field. At present, we have successfully deployed MedGo at Shanghai East Hospital.