Large Language Models for Integrating Social Determinant of Health Data: A Case Study on Heart Failure 30-Day Readmission Prediction

📄 arXiv: 2407.09688v1 📥 PDF

作者: Chase Fensore, Rodrigo M. Carrillo-Larco, Shivani A. Patel, Alanna A. Morris, Joyce C. Ho

分类: cs.CL

发布日期: 2024-07-12

备注: 36 pages including references and appendix. This is a work in progress

💡 一句话要点

利用大型语言模型整合社会决定因素数据，预测心力衰竭患者30天再入院率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会决定因素 心力衰竭 再入院预测 自然语言处理

📋 核心要点

  1. 现有预测模型依赖SDOH代理变量，无法充分利用日益增长的开放SDOH数据，整合过程面临挑战。
  2. 利用LLM自动标注SDOH数据，构建更全面的特征集，探索其在临床预测中的有效性。
  3. 实验表明，部分开源LLM能有效标注SDOH变量，结合临床特征，可提升心衰再入院预测性能。

📝 摘要（中文）

社会决定因素(SDOH)在健康结果中起着重要作用。然而，现有的结果预测模型通常只使用SDOH的代理作为特征。最近的开放数据倡议为构建更全面的SDOH视图提供了机会，但随着公共SDOH数据的数量和多样性增长，手动整合个体患者最相关的数据变得越来越具有挑战性。大型语言模型(LLM)在自动注释结构化数据方面显示出前景。本文进行了一项端到端案例研究，评估了使用LLM整合SDOH数据的可行性，以及这些SDOH特征对临床预测的效用。首先，手动将来自两个公开可用的SDOH数据源的700多个变量标记为五个语义SDOH类别之一。然后，对9个开源LLM在此分类任务上的性能进行基准测试。最后，训练机器学习模型来预测3.9万名心力衰竭(HF)患者的30天住院再入院率，并将分类后的SDOH变量与标准临床变量的预测性能进行比较。此外，研究了少量样本LLM提示对LLM注释性能的影响，并对提示执行元数据消融研究，以评估哪些信息有助于LLM准确注释这些变量。研究发现，一些开源LLM可以通过零样本提示有效地、准确地注释SDOH变量，而无需进行微调。至关重要的是，当与标准临床特征相结合时，LLM注释的邻里和建筑环境SDOH子集在预测HF患者的30天再入院率方面表现出最佳性能。

🔬 方法详解

问题定义：论文旨在解决现有心力衰竭30天再入院预测模型中，对社会决定因素(SDOH)数据利用不足的问题。现有模型通常使用SDOH的代理变量，无法充分利用日益增长的开放SDOH数据，且手动整合这些数据耗时耗力，难以规模化应用。

核心思路：论文的核心思路是利用大型语言模型(LLM)的自然语言理解和分类能力，自动标注和整合来自不同来源的SDOH数据，将其转化为可用于预测模型的特征。通过这种方式，可以更全面地考虑SDOH对患者健康的影响，从而提高预测的准确性。

技术框架：论文采用端到端的流程，主要包含以下几个阶段：1. 数据准备：收集并整理公开可用的SDOH数据，包括700多个变量。2. 人工标注：手动将这些变量标注为五个语义SDOH类别之一，作为LLM训练和评估的ground truth。3. LLM标注：使用9个开源LLM对SDOH变量进行自动标注，并评估其性能。4. 模型训练：使用标注后的SDOH特征和标准临床特征，训练机器学习模型预测心力衰竭患者的30天再入院率。5. 性能评估：比较不同特征组合的预测性能，并分析LLM标注的SDOH特征的贡献。

关键创新：论文的关键创新在于将LLM应用于SDOH数据的自动标注和整合，并将其应用于临床预测任务。与传统的手动整合方法相比，LLM可以更高效、更准确地处理大规模的SDOH数据。此外，论文还探索了不同LLM的性能，并研究了少量样本提示对LLM标注性能的影响。

关键设计：论文的关键设计包括：1. SDOH类别体系：定义了五个语义SDOH类别，用于指导人工标注和LLM标注。2. LLM选择：选择了9个不同的开源LLM进行评估，以比较它们的性能。3. 提示工程：研究了不同提示策略对LLM标注性能的影响，包括零样本提示和少量样本提示。4. 模型评估：使用多种评估指标，包括准确率、召回率和F1值，来评估LLM的标注性能和预测模型的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，部分开源LLM在零样本提示下即可有效标注SDOH变量。当与标准临床特征结合时，LLM标注的邻里和建筑环境SDOH子集在预测心力衰竭患者30天再入院率方面表现出最佳性能，验证了LLM在整合SDOH数据方面的潜力。

🎯 应用场景

该研究成果可应用于医疗健康领域，帮助医疗机构更全面地了解患者的社会环境因素，从而更准确地预测疾病风险和制定个性化的治疗方案。通过自动化SDOH数据整合，可以降低数据处理成本，提高效率，并为公共卫生政策制定提供数据支持。未来，该方法可扩展到其他疾病预测和健康管理领域。

📄 摘要（原文）

Social determinants of health (SDOH) $-$ the myriad of circumstances in which people live, grow, and age $-$ play an important role in health outcomes. However, existing outcome prediction models often only use proxies of SDOH as features. Recent open data initiatives present an opportunity to construct a more comprehensive view of SDOH, but manually integrating the most relevant data for individual patients becomes increasingly challenging as the volume and diversity of public SDOH data grows. Large language models (LLMs) have shown promise at automatically annotating structured data. Here, we conduct an end-to-end case study evaluating the feasibility of using LLMs to integrate SDOH data, and the utility of these SDOH features for clinical prediction. We first manually label 700+ variables from two publicly-accessible SDOH data sources to one of five semantic SDOH categories. Then, we benchmark performance of 9 open-source LLMs on this classification task. Finally, we train ML models to predict 30-day hospital readmission among 39k heart failure (HF) patients, and we compare the prediction performance of the categorized SDOH variables with standard clinical variables. Additionally, we investigate the impact of few-shot LLM prompting on LLM annotation performance, and perform a metadata ablation study on prompts to evaluate which information helps LLMs accurately annotate these variables. We find that some open-source LLMs can effectively, accurately annotate SDOH variables with zero-shot prompting without the need for fine-tuning. Crucially, when combined with standard clinical features, the LLM-annotated Neighborhood and Built Environment subset of the SDOH variables shows the best performance predicting 30-day readmission of HF patients.