MedArabiQ: Benchmarking Large Language Models on Arabic Medical Tasks

📄 arXiv: 2505.03427v2 📥 PDF

作者: Mouath Abu Daoud, Chaimae Abouzahir, Leen Kharouf, Walid Al-Eisawi, Nizar Habash, Farah E. Shamout

分类: cs.CL, cs.AI, cs.HC

发布日期: 2025-05-06 (更新: 2025-08-22)

备注: 21 pages

💡 一句话要点

MedArabiQ：构建阿拉伯语医疗任务基准，评估并提升LLM在医疗领域的应用。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿拉伯语医疗 大型语言模型 基准数据集 医疗任务 自然语言处理

📋 核心要点

  1. 现有阿拉伯语医疗领域缺乏高质量数据集和基准，限制了LLM在该领域的有效评估和应用。
  2. MedArabiQ基准数据集包含七个阿拉伯语医疗任务，涵盖多种题型和医学专业，用于全面评估LLM能力。
  3. 实验评估了包括GPT-4o在内的多个先进LLM，揭示了多语言医疗基准的必要性，为未来研究奠定基础。

📝 摘要（中文）

大型语言模型（LLMs）在医疗保健领域的各种应用中展现出巨大的潜力。然而，由于缺乏高质量的领域特定数据集和基准，它们在阿拉伯语医疗领域的有效性仍未得到探索。本研究引入了MedArabiQ，这是一个新颖的基准数据集，包含七个阿拉伯语医疗任务，涵盖多个专业，包括多项选择题、填空题和医患问答。我们首先使用过去的医学考试和公开可用的数据集构建了该数据集。然后，我们引入了不同的修改来评估LLM的各种能力，包括偏见缓解。我们使用五种最先进的开源和专有LLM（包括GPT-4o、Claude 3.5-Sonnet和Gemini 1.5）进行了广泛的评估。我们的研究结果强调，需要创建新的高质量基准，涵盖不同的语言，以确保LLM在医疗保健领域公平部署和可扩展性。通过建立此基准并发布数据集，我们为未来的研究奠定了基础，旨在评估和增强LLM的多语言能力，从而在医疗保健领域公平使用生成式人工智能。

🔬 方法详解

问题定义：现有的大型语言模型在通用领域取得了显著进展，但在阿拉伯语医疗领域的应用仍面临挑战。主要痛点在于缺乏高质量、领域特定的数据集和基准，这使得评估和提升LLM在该领域的性能变得困难。此外，现有的模型可能存在偏见，影响其在医疗决策中的公平性和可靠性。

核心思路：本研究的核心思路是构建一个名为MedArabiQ的阿拉伯语医疗基准数据集，该数据集涵盖多个医疗任务和专业，并包含不同类型的题目，如多项选择、填空和医患问答。通过在该基准上评估现有LLM的性能，可以识别其优势和不足，并为未来的研究提供方向。此外，通过对数据集进行修改，可以评估LLM的偏见缓解能力。

技术框架：MedArabiQ的构建流程包括以下几个主要阶段：1) 数据收集：从过去的医学考试和公开可用的数据集中收集阿拉伯语医疗文本数据。2) 任务定义：定义七个不同的医疗任务，涵盖多个医学专业。3) 数据标注：对收集到的数据进行标注，生成多项选择题、填空题和医患问答等不同类型的题目。4) 数据集划分：将数据集划分为训练集、验证集和测试集。5) 模型评估：使用不同的LLM在MedArabiQ上进行评估，并分析其性能。

关键创新：本研究的关键创新在于构建了一个高质量的阿拉伯语医疗基准数据集MedArabiQ，填补了该领域数据集的空白。该数据集涵盖多个医疗任务和专业，并包含不同类型的题目，可以全面评估LLM在该领域的性能。此外，该研究还通过对数据集进行修改，评估了LLM的偏见缓解能力。

关键设计：MedArabiQ数据集包含七个阿拉伯语医疗任务，涵盖多个医学专业，包括但不限于内科、外科、儿科等。数据集中的题目类型包括多项选择题、填空题和医患问答。为了评估LLM的偏见缓解能力，研究人员对数据集进行了一些修改，例如引入了性别偏见或种族偏见。在模型评估方面，研究人员使用了五种最先进的LLM，包括GPT-4o、Claude 3.5-Sonnet和Gemini 1.5，并采用了常用的评估指标，如准确率、召回率和F1值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最先进的LLM，在MedArabiQ基准上的表现仍有提升空间，尤其是在处理复杂的医学推理和缓解偏见方面。例如，GPT-4o在某些任务上取得了最高的准确率，但与其他模型相比，在某些特定类型的题目上表现较差。这表明需要进一步研究和开发针对阿拉伯语医疗领域的LLM。

🎯 应用场景

该研究成果可应用于开发阿拉伯语医疗领域的智能辅助诊断系统、医学知识问答系统和医患沟通平台。通过提升LLM在阿拉伯语医疗领域的性能，可以为阿拉伯语使用者提供更优质的医疗服务，促进医疗资源的公平分配，并为医疗研究提供新的工具和方法。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated significant promise for various applications in healthcare. However, their efficacy in the Arabic medical domain remains unexplored due to the lack of high-quality domain-specific datasets and benchmarks. This study introduces MedArabiQ, a novel benchmark dataset consisting of seven Arabic medical tasks, covering multiple specialties and including multiple choice questions, fill-in-the-blank, and patient-doctor question answering. We first constructed the dataset using past medical exams and publicly available datasets. We then introduced different modifications to evaluate various LLM capabilities, including bias mitigation. We conducted an extensive evaluation with five state-of-the-art open-source and proprietary LLMs, including GPT-4o, Claude 3.5-Sonnet, and Gemini 1.5. Our findings highlight the need for the creation of new high-quality benchmarks that span different languages to ensure fair deployment and scalability of LLMs in healthcare. By establishing this benchmark and releasing the dataset, we provide a foundation for future research aimed at evaluating and enhancing the multilingual capabilities of LLMs for the equitable use of generative AI in healthcare.