Contextual Evaluation of Large Language Models for Classifying Tropical and Infectious Diseases

📄 arXiv: 2409.09201v3 📥 PDF

作者: Mercy Asiedu, Nenad Tomasev, Chintan Ghate, Tiya Tiyasirichokchai, Awa Dieng, Oluwatosin Akande, Geoffrey Siwo, Steve Adudans, Sylvanus Aitkins, Odianosen Ehiakhamen, Eric Ndombi, Katherine Heller

分类: cs.CL, cs.AI

发布日期: 2024-09-13 (更新: 2025-01-15)

备注: Accepted at 2 NeurIPS 2024 workshops: Generative AI for Health Workshop and Workshop on Advancements In Medical Foundation Models: Explainability, Robustness, Security, and Beyond

💡 一句话要点

针对热带传染病分类，论文提出利用上下文信息优化大语言模型性能的方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 热带传染病 上下文信息 医疗问答 数据集增强

📋 核心要点

  1. 现有大语言模型在医学问答领域展现潜力，但在热带和传染病领域的探索不足。
  2. 论文通过构建包含上下文信息的TRINDs数据集，评估不同LLM在此数据集上的表现。
  3. 实验证明，人口统计学等上下文信息能有效提升LLM在热带传染病分类任务中的性能。

📝 摘要（中文）

本文针对大语言模型（LLMs）在热带和传染病（TRINDs）特定领域的应用进行了探索，现有研究对该领域的关注有限。研究者扩展了一个开源的TRINDs数据集，通过加入人口统计学和语义临床及消费者增强信息，构建了一个包含11000+提示的数据集。在此基础上，评估了通用型和医学专用LLMs的性能，并将LLM的输出结果与人类专家的表现进行了比较。实验结果表明，诸如人口统计学、地理位置、性别和风险因素等上下文信息能够显著提升LLM的响应质量。最终，研究者开发了一个名为TRINDs-LM的原型研究工具，用于探索上下文信息对LLM健康相关输出的影响。

🔬 方法详解

问题定义：论文旨在解决大语言模型在热带和传染病分类任务中，由于缺乏领域知识和上下文信息而导致的性能瓶颈问题。现有方法通常直接使用通用型或医学专用LLM，忽略了特定人群和地区的差异，导致模型无法给出准确的诊断或建议。

核心思路：论文的核心思路是利用上下文信息，例如人口统计学特征、地理位置、性别和风险因素等，来增强LLM的领域知识和推理能力。通过在训练和推理过程中引入这些上下文信息，使LLM能够更好地理解用户的需求，并给出更准确、个性化的回答。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据集构建：扩展现有的TRINDs数据集，加入人口统计学和语义临床及消费者增强信息，构建一个包含11000+提示的数据集。2) 模型评估：选择通用型和医学专用LLMs，在构建的数据集上进行评估，并与人类专家的表现进行比较。3) 上下文信息分析：系统性地分析不同上下文信息对LLM响应质量的影响。4) 原型工具开发：开发一个名为TRINDs-LM的原型研究工具，用于探索上下文信息对LLM健康相关输出的影响。

关键创新：论文的关键创新在于强调了上下文信息在热带和传染病分类任务中的重要性，并系统性地研究了不同上下文信息对LLM性能的影响。此外，论文还构建了一个包含丰富上下文信息的TRINDs数据集，并开发了一个原型研究工具，为后续研究提供了便利。

关键设计：论文的关键设计包括：1) 数据集增强：通过加入人口统计学和语义临床及消费者增强信息，丰富了数据集的上下文信息。2) 模型选择：选择了多种通用型和医学专用LLMs，以评估不同模型的性能。3) 评估指标：使用了多种评估指标，包括准确率、召回率和F1值等，以全面评估模型的性能。4) 原型工具设计：TRINDs-LM原型工具提供了一个交互式的界面，允许用户探索不同上下文信息对LLM输出的影响。具体参数设置、损失函数和网络结构等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，诸如人口统计学、地理位置、性别和风险因素等上下文信息能够显著提升LLM的响应质量。通过系统性实验，论文验证了上下文信息对LLM在热带传染病分类任务中的重要性。具体的性能提升数据和对比基线在摘要中未给出，属于未知信息。

🎯 应用场景

该研究成果可应用于开发智能医疗助手，为热带和传染病高发地区的人群提供个性化的健康咨询和诊断建议。通过结合患者的个人信息和地理位置等上下文信息，LLM可以更准确地识别潜在的健康风险，并提供及时的干预措施，从而提高医疗服务的效率和质量。未来，该研究还可以扩展到其他医学领域，为更广泛的人群提供智能化的健康管理服务。

📄 摘要（原文）

While large language models (LLMs) have shown promise for medical question answering, there is limited work focused on tropical and infectious disease-specific exploration. We build on an opensource tropical and infectious diseases (TRINDs) dataset, expanding it to include demographic and semantic clinical and consumer augmentations yielding 11000+ prompts. We evaluate LLM performance on these, comparing generalist and medical LLMs, as well as LLM outcomes to human experts. We demonstrate through systematic experimentation, the benefit of contextual information such as demographics, location, gender, risk factors for optimal LLM response. Finally we develop a prototype of TRINDs-LM, a research tool that provides a playground to navigate how context impacts LLM outputs for health.