Improving Representation Learning of Complex Critical Care Data with ICU-BERT

📄 arXiv: 2502.19593v1 📥 PDF

作者: Ricardo Santos, André V. Carreiro, Xi Peng, Hugo Gamboa, Holger Fröhlich

分类: cs.LG, cs.AI

发布日期: 2025-02-26

备注: Accepted for poster at GenAI4Health Workshop at AAAI 2025

💡 一句话要点

ICU-BERT：利用多任务Transformer学习ICU复杂数据的鲁棒表征，提升临床决策支持。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ICU数据 Transformer模型 预训练模型 多任务学习 临床决策支持

📋 核心要点

  1. 现实世界临床数据（如ICU数据）的多变量和异步性对传统AI决策支持系统构成挑战，后者常假设数据规律性和特征独立性。
  2. ICU-BERT采用Transformer架构，利用多任务学习和生物医学语言模型嵌入，学习ICU数据的鲁棒表征，减少人工特征工程。
  3. 在五个任务和四个ICU数据集上的评估表明，ICU-BERT通过微调能够达到或超过现有性能基准，证明了其有效性。

📝 摘要（中文）

本文提出ICU-BERT，一种基于Transformer的模型，通过多任务学习方案在MIMIC-IV数据库上进行预训练，旨在学习复杂ICU数据的鲁棒表征，且仅需最少的预处理。ICU-BERT采用多token输入策略，结合生物医学大型语言模型的稠密嵌入，以学习复杂且多变量ICU数据的通用表征。通过对五个任务和四个额外ICU数据集的初步评估，ICU-BERT的结果表明，通过微调，其性能可与当前基准相媲美或超越。通过整合结构化和非结构化数据，ICU-BERT推进了基础模型在医学信息学中的应用，为各种临床决策支持应用提供了一种适应性强的解决方案。

🔬 方法详解

问题定义：现有基于AI的临床决策支持系统难以处理ICU数据的复杂性，包括数据的多变量性、异步性以及不规则性。传统方法通常依赖于人工特征工程，并且假设数据具有规律性和特征独立性，这限制了它们在实际临床环境中的应用。此外，生成式AI技术在临床数据分析中的潜力尚未得到充分挖掘。

核心思路：ICU-BERT的核心思路是利用Transformer模型强大的表征学习能力，通过在大量ICU数据上进行预训练，学习到一种通用的、鲁棒的ICU数据表征。这种表征能够捕捉到数据中的复杂关系和模式，从而为各种下游任务提供有力的支持。同时，结合生物医学大型语言模型的嵌入，可以有效融合结构化和非结构化数据，提升模型的泛化能力。

技术框架：ICU-BERT的整体框架包括预训练和微调两个阶段。在预训练阶段，模型在MIMIC-IV数据库上进行多任务学习，包括掩码语言模型（MLM）和下一句预测（NSP）等任务。模型采用多token输入策略，将结构化数据和非结构化数据（如文本描述）进行融合。在微调阶段，将预训练好的模型应用于各种下游任务，如疾病诊断、预后预测等。

关键创新：ICU-BERT的关键创新在于：1) 提出了一种基于Transformer的预训练模型，专门用于处理复杂的ICU数据；2) 采用多token输入策略，有效融合了结构化和非结构化数据；3) 结合生物医学大型语言模型的嵌入，提升了模型的泛化能力。与现有方法相比，ICU-BERT能够自动学习特征，减少了人工特征工程的需求，并且能够更好地捕捉到数据中的复杂关系。

关键设计：ICU-BERT采用了标准的Transformer架构，包括多头自注意力机制和前馈神经网络。在多任务学习中，采用了加权损失函数，以平衡不同任务之间的贡献。在输入表示方面，采用了稠密嵌入，将每个token映射到一个高维向量空间。具体参数设置（如Transformer层数、隐藏层大小、注意力头数等）需要根据具体数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ICU-BERT在五个任务和四个额外的ICU数据集上进行了评估，结果表明，通过微调，ICU-BERT的性能可与当前基准相媲美或超越。这表明ICU-BERT能够有效地学习到ICU数据的鲁棒表征，并且具有良好的泛化能力。具体的性能提升幅度取决于具体的任务和数据集，但总体而言，ICU-BERT展现出了优于现有方法的潜力。

🎯 应用场景

ICU-BERT具有广泛的应用前景，可用于临床决策支持、疾病诊断、预后预测、患者风险评估等。通过整合结构化和非结构化数据，ICU-BERT能够为医生提供更全面、准确的患者信息，辅助其做出更明智的决策。未来，ICU-BERT有望成为智能ICU的核心组成部分，提升医疗效率和质量。

📄 摘要（原文）

The multivariate, asynchronous nature of real-world clinical data, such as that generated in Intensive Care Units (ICUs), challenges traditional AI-based decision-support systems. These often assume data regularity and feature independence and frequently rely on limited data scopes and manual feature engineering. The potential of generative AI technologies has not yet been fully exploited to analyze clinical data. We introduce ICU-BERT, a transformer-based model pre-trained on the MIMIC-IV database using a multi-task scheme to learn robust representations of complex ICU data with minimal preprocessing. ICU-BERT employs a multi-token input strategy, incorporating dense embeddings from a biomedical Large Language Model to learn a generalizable representation of complex and multivariate ICU data. With an initial evaluation of five tasks and four additional ICU datasets, ICU-BERT results indicate that ICU-BERT either compares to or surpasses current performance benchmarks by leveraging fine-tuning. By integrating structured and unstructured data, ICU-BERT advances the use of foundational models in medical informatics, offering an adaptable solution for clinical decision support across diverse applications.