FeatEHR-LLM: Leveraging Large Language Models for Feature Engineering in Electronic Health Records

📄 arXiv: 2604.22534v1 📥 PDF

作者: Hojjat Karami, David Atienza, Jean-Philippe Thiran, Anisoara Ionescu

分类: cs.LG, cs.AI

发布日期: 2026-04-24

💡 一句话要点

提出FeatEHR-LLM以解决电子健康记录特征工程问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子健康记录 特征工程 大型语言模型 临床预测 数据隐私 不规则时间序列 自动化特征生成

📋 核心要点

  1. 现有的特征工程方法在处理电子健康记录时面临观察间隔不规则和数据稀疏等挑战，限制了其在实际应用中的有效性。
  2. FeatEHR-LLM框架通过利用大型语言模型生成临床相关的特征，能够处理不规则采样的EHR数据，提升特征工程的自动化程度。
  3. 在四个ICU数据集的八个临床预测任务中，FeatEHR-LLM在7个任务上实现了最高的平均AUROC，性能提升显著，最高可达6个百分点。

📝 摘要（中文）

电子健康记录（EHR）的特征工程因观察间隔不规则、测量频率变化和临床时间序列的结构稀疏性而复杂。现有的自动化方法要么缺乏临床领域意识，要么假设输入数据干净且规律，限制了其在真实EHR数据中的适用性。本文提出了FeatEHR-LLM框架，利用大型语言模型（LLMs）从不规则采样的EHR时间序列中生成临床意义的表格特征。为限制患者隐私暴露，LLM仅在数据集模式和任务描述上操作，而非原始患者记录。工具增强生成机制为LLM提供了查询不规则时间数据的专用例程，使其能够生成可执行的特征提取代码，明确处理不均匀观察模式和信息稀疏性。经过在四个ICU数据集上的八个临床预测任务评估，我们的框架在8个任务中有7个任务达到了最高的平均AUROC，相较于强基线提高了多达6个百分点。

🔬 方法详解

问题定义：本论文旨在解决电子健康记录（EHR）特征工程中的复杂性，尤其是由于观察间隔不规则、测量频率变化和数据稀疏性所带来的挑战。现有方法往往缺乏对临床领域的理解，或假设输入数据是干净且规律的，导致在真实世界应用中的局限性。

核心思路：论文提出的FeatEHR-LLM框架利用大型语言模型（LLMs）从不规则采样的EHR时间序列中生成具有临床意义的表格特征。通过在数据集模式和任务描述上操作，避免了对原始患者记录的直接处理，从而保护患者隐私。

技术框架：FeatEHR-LLM的整体架构包括数据输入、特征生成和验证三个主要模块。首先，框架接收EHR数据的模式和任务描述，然后通过工具增强生成机制，LLM生成特征提取代码，最后通过迭代验证过程确保生成特征的有效性。

关键创新：该框架的核心创新在于结合了大型语言模型与特征工程，能够自动生成适应不规则时间序列的特征提取代码，显著提高了特征生成的灵活性和准确性。与现有方法相比，FeatEHR-LLM在处理稀疏数据和不均匀观察模式方面表现出色。

关键设计：在设计中，FeatEHR-LLM采用了工具增强生成机制，提供了专用的查询例程，以处理不规则时间数据。此外，框架支持单变量和多变量特征生成，采用迭代的验证流程来确保生成特征的临床相关性和有效性。具体的参数设置和损失函数设计在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个ICU数据集的八个临床预测任务中，FeatEHR-LLM在7个任务上实现了最高的平均AUROC，性能提升显著，最高可达6个百分点，相较于强基线表现出更优的特征生成能力，验证了其在实际应用中的有效性。

🎯 应用场景

FeatEHR-LLM框架在电子健康记录的特征工程中具有广泛的应用潜力，能够帮助医疗机构更有效地从复杂的临床数据中提取有价值的信息。这一方法不仅提高了特征生成的自动化程度，还能在保护患者隐私的前提下，支持临床决策和预测模型的构建，未来可能对医疗数据分析和智能医疗系统的发展产生深远影响。

📄 摘要（原文）

Feature engineering for Electronic Health Records (EHR) is complicated by irregular observation intervals, variable measurement frequencies, and structural sparsity inherent to clinical time series. Existing automated methods either lack clinical domain awareness or assume clean, regularly sampled inputs, limiting their applicability to real-world EHR data. We present \textbf{FeatEHR-LLM}, a framework that leverages Large Language Models (LLMs) to generate clinically meaningful tabular features from irregularly sampled EHR time series. To limit patient privacy exposure, the LLM operates exclusively on dataset schemas and task descriptions rather than raw patient records. A tool-augmented generation mechanism equips the LLM with specialized routines for querying irregular temporal data, enabling it to produce executable feature-extraction code that explicitly handles uneven observation patterns and informative sparsity. FeatEHR-LLM supports both univariate and multivariate feature generation through an iterative, validation-in-the-loop pipeline. Evaluated on eight clinical prediction tasks across four ICU datasets, our framework achieves the highest mean AUROC on 7 out of 8 tasks, with improvements of up to 6 percentage points over strong baselines. Code is available at github.com/hojjatkarami/FeatEHR-LLM.