An Empirical Evaluation of Large Language Models on Consumer Health Questions

📄 arXiv: 2501.00208v1 📥 PDF

作者: Moaiz Abrar, Yusuf Sermet, Ibrahim Demir

分类: cs.CL, cs.AI

发布日期: 2024-12-31

💡 一句话要点

评估大型语言模型在消费者健康问题解答中的表现，揭示其潜力和局限性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 消费者健康 问题解答 医疗信息 模型评估

📋 核心要点

  1. 现有临床QA基准测试无法充分评估LLM在处理非正式、面向消费者的医疗问题时的能力。
  2. 采用交叉评估方法，让各LLM互相评估答案质量，以减少评估偏差，更客观地反映模型性能。
  3. 实验结果表明，GPT-4o mini在与专家答案的一致性方面表现最佳，而Mistral-7B表现相对较差。

📝 摘要（中文）

本研究评估了多个大型语言模型（LLM）在MedRedQA数据集上的表现，该数据集包含来自AskDocs subreddit的消费者医疗问题和经过验证的专家答案。尽管LLM在临床问题解答（QA）基准测试中表现出熟练程度，但它们在真实世界、基于消费者的医疗问题上的有效性仍然知之甚少。MedRedQA提出了独特的挑战，例如非正式语言以及对适合非专业查询的精确响应的需求。为了评估模型性能，使用了五个LLM生成响应：GPT-4o mini、Llama 3.1: 70B、Mistral-123B、Mistral-7B和Gemini-Flash。采用了一种交叉评估方法，其中每个模型评估其自身的响应以及其他模型的响应，以最大限度地减少偏差。结果表明，根据五个模型评审中的四个，GPT-4o mini实现了与专家响应的最高一致性，而根据五个模型评审中的三个，Mistral-7B得分最低。这项研究突出了当前LLM在消费者健康医疗问题解答方面的潜力和局限性，指出了进一步发展的途径。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在回答消费者提出的医疗健康问题方面的能力。现有方法主要集中在临床问题解答，缺乏对非正式、面向消费者的医疗问题的有效评估，这些问题通常包含口语化表达和需要针对非专业人士的精确回答。

核心思路：论文的核心思路是利用MedRedQA数据集，该数据集包含真实世界中消费者提出的医疗问题以及专家的回答，以此来评估LLM的性能。通过交叉评估方法，让不同的LLM互相评估彼此的答案，从而减少评估偏差，更客观地反映模型的实际能力。

技术框架：整体框架包括以下几个主要步骤：1）选择五个具有代表性的LLM：GPT-4o mini、Llama 3.1: 70B、Mistral-123B、Mistral-7B和Gemini-Flash。2）使用这些LLM对MedRedQA数据集中的问题生成答案。3）采用交叉评估方法，即每个LLM不仅评估自己的答案，还评估其他LLM生成的答案。4）分析评估结果，比较不同LLM的性能，并找出它们的优势和不足。

关键创新：该研究的关键创新在于：1）使用了MedRedQA数据集，该数据集更贴近真实世界中消费者提出的医疗问题。2）采用了交叉评估方法，减少了评估偏差，提高了评估的客观性。3）对多个LLM进行了全面的评估，揭示了它们在处理消费者医疗问题方面的潜力和局限性。

关键设计：评估指标主要关注答案与专家答案的一致性。具体的技术细节（如损失函数、网络结构等）取决于各个LLM自身的架构，论文侧重于对这些现有模型的评估和比较，而非提出新的模型架构。

📊 实验亮点

实验结果显示，GPT-4o mini在与专家答案的一致性方面表现最佳，获得了五个模型评审中四个的最高评价。Mistral-7B在三个模型评审中得分最低，表明其在处理消费者医疗问题方面存在一定的局限性。该研究为选择合适的LLM应用于消费者健康领域提供了重要参考。

🎯 应用场景

该研究成果可应用于开发更智能的健康咨询机器人，帮助用户快速获取可靠的医疗信息。通过提升LLM在处理消费者医疗问题方面的能力，可以有效缓解医疗资源紧张，提高公众健康水平，并为个性化健康管理提供技术支持。未来的发展方向包括优化模型以更好地理解非正式语言，并提供更精确、易懂的答案。

📄 摘要（原文）

This study evaluates the performance of several Large Language Models (LLMs) on MedRedQA, a dataset of consumer-based medical questions and answers by verified experts extracted from the AskDocs subreddit. While LLMs have shown proficiency in clinical question answering (QA) benchmarks, their effectiveness on real-world, consumer-based, medical questions remains less understood. MedRedQA presents unique challenges, such as informal language and the need for precise responses suited to non-specialist queries. To assess model performance, responses were generated using five LLMs: GPT-4o mini, Llama 3.1: 70B, Mistral-123B, Mistral-7B, and Gemini-Flash. A cross-evaluation method was used, where each model evaluated its responses as well as those of others to minimize bias. The results indicated that GPT-4o mini achieved the highest alignment with expert responses according to four out of the five models' judges, while Mistral-7B scored lowest according to three out of five models' judges. This study highlights the potential and limitations of current LLMs for consumer health medical question answering, indicating avenues for further development.