Enhancing Adverse Drug Event Detection with Multimodal Dataset: Corpus Creation and Model Development

📄 arXiv: 2405.15766v2 📥 PDF

作者: Pranab Sahoo, Ayush Kumar Singh, Sriparna Saha, Aman Chadha, Samrat Mondal

分类: cs.AI, cs.CL, cs.CV

发布日期: 2024-05-24 (更新: 2024-05-27)

备注: ACL Findings 2024

DOI: 10.18653/v1/2024.findings-acl.667

💡 一句话要点

提出MMADE多模态数据集，并结合LLM和VLM增强药物不良反应事件检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 药物不良反应事件检测 多模态学习 大型语言模型 视觉语言模型 医学图像处理 患者安全 药物警戒

📋 核心要点

  1. 现有ADE检测方法依赖文本，忽略视觉信息，限制了上下文理解和准确性。
  2. 论文提出MMADE数据集，融合文本和图像信息，并利用LLM和VLM进行ADE检测。
  3. 实验表明，结合视觉线索可以显著提升ADE检测性能，增强患者安全和医疗可及性。

📝 摘要（中文）

药物不良反应事件(ADE)的挖掘在药物警戒中至关重要，它通过识别与药物相关的潜在风险、促进不良事件的早期检测以及指导监管决策来提高患者安全性。传统的ADE检测方法可靠但速度慢，不易适应大规模操作，并且提供的信息有限。随着社交媒体内容、生物医学文献和电子病历(EMR)等数据源的指数级增长，从这些非结构化文本中提取相关的ADE信息势在必行。以往的ADE挖掘研究主要集中在基于文本的方法上，忽略了视觉线索，限制了上下文理解，并阻碍了准确的解释。为了解决这一差距，我们提出了一个多模态药物不良反应事件(MMADE)检测数据集，将ADE相关的文本信息与视觉辅助工具相结合。此外，我们还引入了一个框架，利用LLM和VLM的能力进行ADE检测，通过生成描述ADE的医学图像的详细描述，帮助医疗专业人员在视觉上识别不良事件。使用我们的MMADE数据集，我们展示了整合图像中的视觉线索以提高整体性能的重要性。这种方法有望提高患者安全性、ADE意识和医疗保健可及性，为个性化医疗保健的进一步探索铺平道路。

🔬 方法详解

问题定义：论文旨在解决传统药物不良反应事件（ADE）检测方法仅依赖文本信息，忽略了图像等视觉信息，导致上下文理解不足和检测准确率不高的问题。现有方法难以有效利用社交媒体和电子病历中包含的图像信息，限制了ADE检测的范围和效率。

核心思路：论文的核心思路是将文本信息与图像信息相结合，构建多模态数据集MMADE，并利用大型语言模型（LLM）和视觉语言模型（VLM）来增强ADE检测能力。通过让模型同时理解文本和图像，可以更全面地把握ADE的上下文，提高检测的准确性和可靠性。

技术框架：该框架主要包含以下几个阶段：1) 构建MMADE数据集，该数据集包含ADE相关的文本描述和医学图像；2) 利用VLM对医学图像进行描述生成，为文本信息提供补充；3) 将文本和图像信息输入到LLM中进行ADE检测；4) 评估模型在MMADE数据集上的性能。整体流程旨在利用多模态信息提升ADE检测效果。

关键创新：论文的关键创新在于：1) 提出了MMADE多模态数据集，为ADE检测研究提供了新的资源；2) 结合LLM和VLM，实现了文本和图像信息的有效融合，提升了ADE检测的准确性；3) 通过生成医学图像的详细描述，帮助医疗专业人员在视觉上识别不良事件。

关键设计：论文的关键设计包括：1) MMADE数据集的构建，需要仔细筛选和标注ADE相关的文本和图像数据；2) VLM的选择和训练，需要选择合适的模型并进行微调，以生成准确的图像描述；3) LLM的选择和训练，需要选择合适的模型并进行微调，以有效利用文本和图像信息进行ADE检测。具体的参数设置、损失函数和网络结构等细节在论文中可能未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了MMADE多模态数据集，并验证了结合视觉信息可以有效提升ADE检测性能。虽然论文中没有给出具体的性能数据和对比基线，但强调了整合图像中的视觉线索对于提高整体性能的重要性。具体的提升幅度未知，需要在论文中查找详细的实验结果。

🎯 应用场景

该研究成果可应用于药物警戒、临床决策支持和患者安全管理等领域。通过自动检测ADE，可以帮助医疗专业人员及时发现药物风险，减少不良事件的发生，提高患者的用药安全性。此外，该技术还可以应用于社交媒体监测，及时发现和报告潜在的ADE事件，为药物监管部门提供参考。

📄 摘要（原文）

The mining of adverse drug events (ADEs) is pivotal in pharmacovigilance, enhancing patient safety by identifying potential risks associated with medications, facilitating early detection of adverse events, and guiding regulatory decision-making. Traditional ADE detection methods are reliable but slow, not easily adaptable to large-scale operations, and offer limited information. With the exponential increase in data sources like social media content, biomedical literature, and Electronic Medical Records (EMR), extracting relevant ADE-related information from these unstructured texts is imperative. Previous ADE mining studies have focused on text-based methodologies, overlooking visual cues, limiting contextual comprehension, and hindering accurate interpretation. To address this gap, we present a MultiModal Adverse Drug Event (MMADE) detection dataset, merging ADE-related textual information with visual aids. Additionally, we introduce a framework that leverages the capabilities of LLMs and VLMs for ADE detection by generating detailed descriptions of medical images depicting ADEs, aiding healthcare professionals in visually identifying adverse events. Using our MMADE dataset, we showcase the significance of integrating visual cues from images to enhance overall performance. This approach holds promise for patient safety, ADE awareness, and healthcare accessibility, paving the way for further exploration in personalized healthcare.