MIRAGE: Multimodal Identification and Recognition of Annotations in Indian General Prescriptions

📄 arXiv: 2410.09729v2 📥 PDF

作者: Tavish Mankash, V. S. Chaithanya Kota, Anish De, Praveen Prakash, Kshitij Jadhav

分类: cs.CV, cs.AI

发布日期: 2024-10-13 (更新: 2024-11-12)

备注: 5 pages, 9 figures, 3 tables, submitted to ISBI 2025

💡 一句话要点

MIRAGE：利用多模态大模型识别印度通用处方中的手写体标注

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大型语言模型 手写识别 医疗处方 印度医疗 信息提取 计算机视觉

📋 核心要点

  1. 印度医疗领域手写病历普遍，但缺乏有效识别药物信息的方法，阻碍了医疗数据分析和管理。
  2. MIRAGE方法利用多模态大语言模型，通过微调QWEN VL、LLaVA 1.6和Idefics2模型，实现对手写处方中药物信息的精准提取。
  3. 在模拟的印度通用处方数据集上，MIRAGE方法在药物名称和剂量提取方面达到了82%的准确率。

📝 摘要（中文）

尽管电子病历（EMR）已经普及，印度医院仍然依赖手写医疗记录，这给统计分析和记录检索带来了困难。手写记录带来了独特的挑战，需要专门的数据来训练模型，以识别药物及其推荐模式。传统的手写识别方法采用2-D LSTMs，而最近的研究探索了使用多模态大型语言模型（MLLMs）进行OCR任务。在此基础上，我们专注于从模拟医疗记录中提取药物名称和剂量。我们的方法MIRAGE（Multimodal Identification and Recognition of Annotations in indian GEneral prescriptions）涉及在743,118张高分辨率模拟医疗记录图像上微调QWEN VL、LLaVA 1.6和Idefics2模型，这些图像来自印度各地1,133名医生的完全标注。我们的方法在提取药物名称和剂量方面达到了82%的准确率。

🔬 方法详解

问题定义：论文旨在解决印度医疗领域手写处方识别的问题，特别是药物名称和剂量的提取。现有方法，如传统的2D-LSTMs，在处理复杂的手写体和非结构化布局时表现不佳，而直接应用通用OCR模型无法适应医疗领域的专业术语和书写习惯。因此，需要一种能够有效处理手写体、理解医疗语境并准确提取关键信息的方法。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLMs）的强大能力，将图像信息（手写处方图像）和文本信息（模型自身的语言知识）相结合，从而更准确地识别和理解处方内容。通过在大量标注数据上微调MLLMs，使其适应印度通用处方的特点，提高药物信息提取的准确率。

技术框架：MIRAGE方法的技术框架主要包括以下几个步骤：1) 数据集构建：收集并标注大量模拟的印度通用处方图像，包括药物名称、剂量等关键信息。2) 模型选择：选择QWEN VL、LLaVA 1.6和Idefics2等先进的MLLMs作为基础模型。3) 模型微调：在构建的数据集上对选定的MLLMs进行微调，使其适应手写处方识别任务。4) 评估：使用测试集评估微调后的模型在药物名称和剂量提取方面的准确率。

关键创新：该论文的关键创新在于将多模态大语言模型应用于印度通用手写处方识别任务。与传统的OCR方法相比，MLLMs能够更好地理解图像中的上下文信息，并利用自身的语言知识来提高识别准确率。此外，该研究还构建了一个大规模的模拟手写处方数据集，为训练和评估模型提供了数据基础。

关键设计：论文的关键设计包括：1) 数据集规模：使用了743,118张高分辨率模拟医疗记录图像进行训练，保证了模型的泛化能力。2) 模型选择：选择了QWEN VL、LLaVA 1.6和Idefics2等具有代表性的MLLMs，并进行了比较。3) 评估指标：使用准确率作为评估指标，衡量模型在药物名称和剂量提取方面的性能。具体的参数设置和损失函数等技术细节在论文中可能未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIRAGE方法在提取药物名称和剂量方面达到了82%的准确率。该结果表明，多模态大语言模型在手写处方识别任务中具有显著优势。虽然论文没有明确指出与哪些基线方法进行了对比，但82%的准确率已经初步证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于印度医疗系统的电子病历建设，提高医疗记录的数字化水平，辅助医生进行处方审核和决策，减少人为错误。此外，该技术还可用于医疗保险理赔、药物不良反应监测等领域，具有广阔的应用前景。

📄 摘要（原文）

Hospitals in India still rely on handwritten medical records despite the availability of Electronic Medical Records (EMR), complicating statistical analysis and record retrieval. Handwritten records pose a unique challenge, requiring specialized data for training models to recognize medications and their recommendation patterns. While traditional handwriting recognition approaches employ 2-D LSTMs, recent studies have explored using Multimodal Large Language Models (MLLMs) for OCR tasks. Building on this approach, we focus on extracting medication names and dosages from simulated medical records. Our methodology MIRAGE (Multimodal Identification and Recognition of Annotations in indian GEneral prescriptions) involves fine-tuning the QWEN VL, LLaVA 1.6 and Idefics2 models on 743,118 high resolution simulated medical record images-fully annotated from 1,133 doctors across India. Our approach achieves 82% accuracy in extracting medication names and dosages.