ExOSITO: Explainable Off-Policy Learning with Side Information for Intensive Care Unit Blood Test Orders

📄 arXiv: 2504.17277v1 📥 PDF

作者: Zongliang Ji, Andre Carlos Kajdacsy-Balla Amaral, Anna Goldenberg, Rahul G. Krishnan

分类: cs.LG, cs.AI

发布日期: 2025-04-24

备注: Accepted to the Conference on Health, Inference, and Learning (CHIL) 2025

💡 一句话要点

ExOSITO：结合辅助信息的ICU血检医嘱可解释离线策略学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线策略学习 辅助信息 ICU血检医嘱 因果bandit 可解释性

📋 核心要点

  1. ICU血检医嘱面临信息充分与资源消耗的平衡难题，现有方法过度开具检查单，造成资源浪费。
  2. ExOSITO结合离线策略学习与辅助信息，构建可解释的辅助工具，优化ICU血检医嘱策略。
  3. 实验表明，ExOSITO在降低成本的同时，保证了关键检查项目，优于医生策略及其他方法。

📝 摘要（中文）

在重症监护病房（ICU）为患者开出最少数量的实验室检查项目是一项具有挑战性的任务。医护团队必须在确保获得正确信息与减少每次实验室检查带来的临床负担和成本之间取得平衡。大多数住院环境都存在频繁过度开具实验室检查单的情况，但现在正致力于减轻医院资源和环境的负担。本文提出了一种新颖的方法，该方法结合了离线策略学习和特权信息，以确定最佳的ICU实验室检查项目。我们的方法，即用于ICU血检医嘱的具有辅助信息的可解释离线策略学习（ExOSITO），通过考虑每个患者的观察到的和预测的未来状态，为临床医生创建了一个可解释的辅助工具来开具实验室检查单。我们将此问题建模为一个使用离线数据和从临床批准的规则中导出的奖励函数训练的因果bandit问题；我们引入了一种新颖的学习框架，该框架将临床知识与观察数据相结合，以弥合最优策略和日志策略之间的差距。学习到的策略函数提供了可解释的临床信息，并在不遗漏任何重要实验室检查项目的情况下降低了成本，优于医生的策略和先前解决此实际问题的方法。

🔬 方法详解

问题定义：论文旨在解决ICU中血检项目过度开具的问题。现有方法（包括医生经验）往往导致不必要的检查，增加了患者负担、医疗成本和环境压力。核心挑战在于如何在保证患者安全的前提下，最小化血检项目数量。

核心思路：论文的核心思路是利用离线策略学习，从历史数据中学习最优的血检医嘱策略。同时，引入辅助信息（side information）来弥补离线数据可能存在的偏差，并提高策略的可解释性。通过这种方式，ExOSITO能够学习到更有效、更安全的血检策略。

技术框架：ExOSITO采用因果bandit框架，将血检医嘱问题建模为一个序列决策问题。整体流程包括：1) 数据预处理：收集ICU患者的历史数据，包括患者状态、已执行的血检项目和临床结果。2) 奖励函数设计：基于临床规则设计奖励函数，鼓励减少不必要的血检，同时惩罚遗漏关键检查。3) 策略学习：使用离线数据训练策略函数，该函数根据患者状态输出血检医嘱。4) 辅助信息融合：将临床知识等辅助信息融入学习过程，提高策略的泛化能力和可解释性。

关键创新：ExOSITO的关键创新在于将离线策略学习与辅助信息相结合，用于解决ICU血检医嘱问题。与传统方法相比，ExOSITO能够从历史数据中学习，并利用临床知识进行指导，从而获得更优的策略。此外，ExOSITO还注重策略的可解释性，为医生提供决策依据。

关键设计：ExOSITO使用临床批准的规则来设计奖励函数，确保学习到的策略符合医疗规范。策略函数可以使用各种机器学习模型实现，例如决策树、神经网络等。辅助信息的融合可以通过多种方式实现，例如特征工程、正则化等。论文中具体使用的模型结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ExOSITO在ICU血检医嘱优化方面取得了显著成果，在降低成本的同时，保证了关键检查项目，优于医生的策略和其他现有方法。具体性能数据未知，但论文强调ExOSITO在不遗漏任何重要实验室检查项目的情况下降低了成本，表明其具有很高的临床应用价值。

🎯 应用场景

ExOSITO可应用于ICU血检医嘱优化，降低医疗成本，减少患者负担，并提高医疗资源利用率。该方法具有潜力推广到其他医疗决策场景，例如药物处方、影像检查等，助力构建更智能、更高效的医疗系统。未来，ExOSITO可集成到临床决策支持系统中，为医生提供实时建议。

📄 摘要（原文）

Ordering a minimal subset of lab tests for patients in the intensive care unit (ICU) can be challenging. Care teams must balance between ensuring the availability of the right information and reducing the clinical burden and costs associated with each lab test order. Most in-patient settings experience frequent over-ordering of lab tests, but are now aiming to reduce this burden on both hospital resources and the environment. This paper develops a novel method that combines off-policy learning with privileged information to identify the optimal set of ICU lab tests to order. Our approach, EXplainable Off-policy learning with Side Information for ICU blood Test Orders (ExOSITO) creates an interpretable assistive tool for clinicians to order lab tests by considering both the observed and predicted future status of each patient. We pose this problem as a causal bandit trained using offline data and a reward function derived from clinically-approved rules; we introduce a novel learning framework that integrates clinical knowledge with observational data to bridge the gap between the optimal and logging policies. The learned policy function provides interpretable clinical information and reduces costs without omitting any vital lab orders, outperforming both a physician's policy and prior approaches to this practical problem.