MMDS: A Multimodal Medical Diagnosis System Integrating Image Analysis and Knowledge-based Departmental Consultation

📄 arXiv: 2410.15403v2 📥 PDF

作者: Yi Ren, HanZhi Zhang, Weibin Li, Jun Fu, Diandong Liu, Tianyi Zhang, Jie He, Licheng Jiao

分类: cs.CV, cs.AI

发布日期: 2024-10-20 (更新: 2024-11-25)

💡 一句话要点

MMDS：融合图像分析与知识库科室咨询的多模态医疗诊断系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态医学诊断 医学图像分析 面部表情识别 面瘫识别 知识库路由 检索增强生成 大型语言模型

📋 核心要点

  1. 现有医疗诊断系统在多模态信息融合和专业知识库利用方面存在不足，限制了诊断的准确性和效率。
  2. MMDS系统通过多模态医学模型分析医学图像和面部信息，并结合科室知识库路由的大语言模型生成专业诊断。
  3. 实验结果表明，MMDS在面部情绪识别、面瘫识别和分级方面均取得了显著的准确率提升，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为MMDS的系统，该系统能够识别医学图像和患者面部细节，并提供专业的医疗诊断。该系统包含两个核心组件：一是医学图像和视频分析，我们训练了一个专门的多模态医学模型，能够解释医学图像并准确分析患者的面部情绪和面瘫状况。该模型在FER2013面部情绪识别数据集上达到了72.59%的准确率，在识别“快乐”情绪时达到了91.1%的准确率。在面瘫识别方面，该模型达到了92%的准确率，比GPT-4o高出30%。基于此模型，我们开发了一个用于分析面瘫患者面部运动视频的解析器，实现了对面瘫严重程度的精确分级，在30个面瘫患者视频的测试中，该系统表现出83.3%的分级准确率。二是生成专业的医疗回复，我们采用了一个大型语言模型，并集成了一个医学知识库，以基于医学图像或视频的分析生成专业的诊断。核心创新在于我们开发了一种特定于科室的知识库路由管理机制，其中大型语言模型按医疗科室对数据进行分类，并在检索过程中确定要查询的适当知识库。这显著提高了RAG（检索增强生成）过程中的检索准确率。

🔬 方法详解

问题定义：现有医疗诊断系统难以有效整合医学图像、患者面部表情等多种模态的信息，并且在利用医学知识库时，检索效率和准确性较低，容易产生泛化的诊断结果。现有方法缺乏针对不同科室的专业知识进行有效路由的机制，导致检索结果不精确。

核心思路：MMDS的核心思路是构建一个多模态医学模型，用于分析医学图像和患者面部信息，并结合一个大型语言模型，该模型通过科室知识库路由管理机制，能够根据不同的科室需求检索相应的专业知识库，从而生成更准确、更专业的诊断结果。这种设计旨在提高诊断的准确性和效率，并减少误诊的可能性。

技术框架：MMDS系统主要包含两个核心模块：多模态医学图像分析模块和基于知识库的诊断生成模块。多模态医学图像分析模块负责处理医学图像和患者面部视频，提取特征并进行分析。基于知识库的诊断生成模块则利用大型语言模型和科室知识库，根据图像分析结果生成专业的诊断报告。系统首先通过多模态模型分析输入数据，然后由大语言模型根据分析结果和科室知识库生成诊断建议。

关键创新：MMDS的关键创新在于其科室知识库路由管理机制。传统RAG方法通常使用单一的知识库，难以满足不同科室的专业需求。MMDS通过将知识库按科室进行划分，并设计了一种路由机制，使大语言模型能够根据输入数据的特点选择合适的科室知识库进行检索，从而显著提高了检索的准确性和效率。

关键设计：在多模态医学图像分析模块中，使用了针对医学图像和面部表情/面瘫识别的定制化模型结构，具体结构未知。在知识库路由管理机制中，使用了基于科室分类的知识库索引方法，具体索引方法未知。损失函数和参数设置等细节未在摘要中体现，因此未知。

📊 实验亮点

MMDS系统在FER2013面部情绪识别数据集上达到了72.59%的准确率，在识别“快乐”情绪时达到了91.1%的准确率。在面瘫识别方面，该模型达到了92%的准确率，比GPT-4o高出30%。在30个面瘫患者视频的测试中，该系统表现出83.3%的分级准确率。这些结果表明，MMDS在多模态医学图像分析方面具有显著的优势。

🎯 应用场景

MMDS系统可应用于辅助医生进行诊断，提高诊断效率和准确性，尤其是在缺乏经验的医生或资源有限的地区。该系统还可以用于远程医疗，为患者提供便捷的医疗服务。未来，该系统有望扩展到更多疾病的诊断，并与其他医疗设备集成，构建更智能化的医疗服务平台。

📄 摘要（原文）

We present MMDS, a system capable of recognizing medical images and patient facial details, and providing professional medical diagnoses. The system consists of two core components:The first component is the analysis of medical images and videos. We trained a specialized multimodal medical model capable of interpreting medical images and accurately analyzing patients' facial emotions and facial paralysis conditions. The model achieved an accuracy of 72.59% on the FER2013 facial emotion recognition dataset, with a 91.1% accuracy in recognizing the "happy" emotion. In facial paralysis recognition, the model reached an accuracy of 92%, which is 30% higher than that of GPT-4o. Based on this model, we developed a parser for analyzing facial movement videos of patients with facial paralysis, achieving precise grading of the paralysis severity. In tests on 30 videos of facial paralysis patients, the system demonstrated a grading accuracy of 83.3%.The second component is the generation of professional medical responses. We employed a large language model, integrated with a medical knowledge base, to generate professional diagnoses based on the analysis of medical images or videos. The core innovation lies in our development of a department-specific knowledge base routing management mechanism, in which the large language model categorizes data by medical departments and, during the retrieval process, determines the appropriate knowledge base to query. This significantly improves retrieval accuracy in the RAG (retrieval-augmented generation) process.