A Scalable Framework for Evaluating Health Language Models
作者: Neil Mallinar, A. Ali Heydari, Xin Liu, Anthony Z. Faranesh, Brent Winslow, Nova Hammerquist, Benjamin Graef, Cathy Speed, Mark Malhotra, Shwetak Patel, Javier L. Prieto, Daniel McDuff, Ahmed A. Metwally
分类: cs.AI, cs.CL, cs.HC
发布日期: 2025-03-30 (更新: 2025-04-01)
💡 一句话要点
提出自适应精确布尔准则，用于高效评估健康语言模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 健康语言模型 评估框架 布尔准则 代谢健康 自动化评估 人机协作 LLM评估
📋 核心要点
- 现有健康语言模型评估依赖人工专家，成本高昂且难以扩展，尤其是在需要领域知识的复杂场景下。
- 提出自适应精确布尔准则，通过少量精确的布尔问题来识别模型响应的不足，从而简化评估流程。
- 实验表明，该方法提高了评估者间的一致性，减少了评估时间，尤其是在自动评估和非专家评估中。
📝 摘要（中文）
大型语言模型（LLM）已成为分析复杂数据集的强大工具。最近的研究表明，当提供包含生活方式、生物标志物和上下文的患者特定健康信息时，它们有潜力生成有用的、个性化的响应。随着LLM驱动的健康应用程序日益普及，严格且高效的单方面评估方法对于确保响应在准确性、个性化和安全性等多个维度上的质量至关重要。目前对开放式文本响应的评估实践严重依赖于人类专家。这种方法引入了人为因素，并且通常成本高昂、劳动密集，并阻碍了可扩展性，尤其是在医疗保健等复杂领域，因为响应评估需要领域专业知识并考虑多方面的患者数据。在这项工作中，我们引入了自适应精确布尔准则：一个评估框架，通过使用最少的目标准则问题来识别模型响应中的差距，从而简化了对开放式问题的专家和自动评估。我们的方法基于最近在更通用评估环境中的工作，该工作将一小组复杂的评估目标与一组更精确、可以用简单布尔响应回答的细粒度目标进行对比。我们在代谢健康（包括糖尿病、心血管疾病和肥胖症）领域验证了这种方法。我们的结果表明，与传统的Likert量表相比，自适应精确布尔准则在专家和非专家人类评估者之间以及在自动评估中产生更高的评估者间一致性，同时所需的评估时间约为基于Likert量表方法的一半。这种增强的效率，尤其是在自动评估和非专家贡献方面，为更广泛和更具成本效益的健康领域LLM评估铺平了道路。
🔬 方法详解
问题定义：现有健康语言模型的评估主要依赖于人工专家，这种方式成本高昂、耗时，并且难以扩展。尤其是在医疗健康领域，评估需要专业的领域知识，并且需要考虑患者的多方面数据，进一步增加了评估的难度。因此，如何高效、低成本地评估健康语言模型成为一个亟待解决的问题。
核心思路：论文的核心思路是通过设计一组精简且精确的布尔问题（Adaptive Precise Boolean rubrics）来评估LLM的响应。这些问题针对模型响应中的关键信息点，通过简单的“是/否”回答来判断模型是否覆盖了这些信息。这种方法将复杂的评估任务分解为一系列简单的判断题，从而降低了评估的难度，提高了评估效率和一致性。
技术框架：该评估框架主要包含以下几个步骤：1) 确定评估目标，即需要评估的LLM响应的哪些方面；2) 设计一组与评估目标相关的精确布尔问题；3) 使用这些问题对LLM的响应进行评估，得到一系列布尔答案；4) 根据这些答案，综合评估LLM响应的质量。该框架可以应用于人工评估和自动评估，其中自动评估可以通过训练一个分类模型来预测布尔答案。
关键创新：该方法最重要的创新点在于将复杂的开放式评估问题转化为一系列简单的布尔问题。这种转化降低了评估的难度，提高了评估的一致性和效率。与传统的Likert量表评估方法相比，该方法需要的评估时间更少，并且可以获得更高的评估者间一致性。此外，该方法也更容易实现自动化评估。
关键设计：关键设计在于布尔问题的设计。这些问题需要足够精确，能够准确地反映LLM响应中的关键信息点。同时，这些问题也需要足够简洁，能够让评估者快速做出判断。论文中并没有详细描述如何自动生成这些布尔问题，这可能需要结合领域知识和LLM的能力。
📊 实验亮点
实验结果表明，自适应精确布尔准则在代谢健康领域（包括糖尿病、心血管疾病和肥胖症）的评估中，与传统的Likert量表相比，在专家和非专家评估者之间以及在自动评估中都产生了更高的评估者间一致性，同时所需的评估时间减少了约一半。这表明该方法在提高评估效率和一致性方面具有显著优势。
🎯 应用场景
该研究成果可应用于各种健康语言模型的评估场景，例如评估模型生成的诊断建议、治疗方案、健康咨询等。通过该方法，可以更高效、更低成本地评估模型的性能，从而加速健康语言模型在医疗领域的应用和推广。此外，该方法也有潜力应用于其他需要复杂评估的领域，例如金融、法律等。
📄 摘要（原文）
Large language models (LLMs) have emerged as powerful tools for analyzing complex datasets. Recent studies demonstrate their potential to generate useful, personalized responses when provided with patient-specific health information that encompasses lifestyle, biomarkers, and context. As LLM-driven health applications are increasingly adopted, rigorous and efficient one-sided evaluation methodologies are crucial to ensure response quality across multiple dimensions, including accuracy, personalization and safety. Current evaluation practices for open-ended text responses heavily rely on human experts. This approach introduces human factors and is often cost-prohibitive, labor-intensive, and hinders scalability, especially in complex domains like healthcare where response assessment necessitates domain expertise and considers multifaceted patient data. In this work, we introduce Adaptive Precise Boolean rubrics: an evaluation framework that streamlines human and automated evaluation of open-ended questions by identifying gaps in model responses using a minimal set of targeted rubrics questions. Our approach is based on recent work in more general evaluation settings that contrasts a smaller set of complex evaluation targets with a larger set of more precise, granular targets answerable with simple boolean responses. We validate this approach in metabolic health, a domain encompassing diabetes, cardiovascular disease, and obesity. Our results demonstrate that Adaptive Precise Boolean rubrics yield higher inter-rater agreement among expert and non-expert human evaluators, and in automated assessments, compared to traditional Likert scales, while requiring approximately half the evaluation time of Likert-based methods. This enhanced efficiency, particularly in automated evaluation and non-expert contributions, paves the way for more extensive and cost-effective evaluation of LLMs in health.