TRACER: A Multimodal Harness for Patient Care in Hospitals

📄 arXiv: 2610.21266v1 📥 PDF

作者: Zane Durante, Paul Tang, Keshigeyan Chandrasegaran, Amit Kaushal, Shrinidhi Kowshika Lakshmikanth, Feolu Kolawole, Yu Jun Zheng, Yifan Geng, Shobhit Agarwal, Kevin Schulman, Juan Carlos Niebles, Ehsan Adeli, Arnold Milstein, Li Fei-Fei

分类: cs.CV, cs.AI

发布日期: 2026-10-15

备注: 37 pages, 4 figures. Code: https://github.com/zanedurante/tracer-harness

💡 一句话要点

提出TRACER以解决医院患者行为理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 患者行为分析 临床记录 视频理解 无训练方法 医院护理 行为模式识别

📋 核心要点

  1. 现有方法在理解患者行为时面临如何有效整合视频与临床记录的挑战，难以全面捕捉患者的动态变化。
  2. TRACER通过构建分钟级的动作记录并结合临床数据，提供了一种无训练的多模态解决方案，增强了行为分析的深度与广度。
  3. 实验结果显示，TRACER在动作检测和问答任务中均显著优于基线方法，并揭示了患者在住院期间的行为模式差异。

📝 摘要（中文）

持续的视频和临床记录为理解患者在住院期间的行为演变提供了互补的信息。核心挑战在于如何在保留细粒度视觉和临床证据的同时，跨整个住院期间表示行为。我们提出TRACER，这是一种无训练的多模态工具，能够从视频中构建分钟级的动作记录，并将其与临床记录结合成每小时的报告。该工具为大型语言模型（LLM）代理提供了查询层次结构、检查相关视频和检索临床记录的工具。通过构建两个基准进行评估，TRACER在动作检测中达到了84.8%的准确率，在问答准确率中达到了61.0%，相比于最强基线的49.3%有显著提升。我们的结果表明，结合连续视频与临床记录可以支持对患者行为的理解，而无需在受保护的健康数据上进行训练。

🔬 方法详解

问题定义：本论文旨在解决如何有效整合视频和临床记录以理解患者在医院中的行为演变的问题。现有方法往往无法全面捕捉患者的动态变化，且在处理受保护健康数据时面临训练限制。

核心思路：TRACER的核心思路是构建一个无训练的多模态工具，通过从视频中提取分钟级动作记录，并将其与临床记录结合，形成每小时的报告，从而为行为分析提供更全面的视角。

技术框架：TRACER的整体架构包括视频数据处理模块、临床记录整合模块和查询接口。视频数据处理模块负责提取动作记录，临床记录整合模块则将相关信息结合，最后通过查询接口提供给LLM代理进行分析和检索。

关键创新：TRACER的主要创新在于其无训练的设计理念，能够在不依赖于受保护健康数据的情况下，结合视频与临床记录进行深入分析。这一方法与传统需要大量标注数据的训练方法本质上不同。

关键设计：在关键设计上，TRACER采用了分钟级的动作记录格式，并通过精确的时间戳与临床记录进行关联。此外，系统的查询接口设计使得LLM代理能够灵活地访问和分析数据，提升了用户交互体验。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

TRACER在动作检测任务中达到了84.8%的准确率，在问答任务中达到了61.0%的准确率，相比最强基线的49.3%有显著提升。此外，TRACER在分析患者行为时发现，阳性谵妄评估的患者在住院期间的目的性活动显著低于阴性患者（p < 0.0001），揭示了患者行为与临床状态之间的关联。

🎯 应用场景

TRACER的研究成果在医院环境中具有广泛的应用潜力，能够帮助医务人员更好地理解患者的行为模式，从而优化护理流程和提高患者的治疗效果。未来，该技术还可扩展至其他医疗场景，如远程监护和老年护理等领域，推动个性化医疗的发展。

📄 摘要（原文）

Continuous video and clinical records provide complementary information for understanding how patient behavior evolves over a hospital stay. A central challenge is how to represent behavior across the entire stay while preserving access to fine-grained visual and clinical evidence. We introduce TRACER, a training-free multimodal harness that constructs minute-level action records from video and combines them with clinical records into hourly reports. The harness equips an LLM agent with tools to query this hierarchy, inspect relevant video, and retrieve clinical records. To evaluate TRACER, we construct two benchmarks. The first contains 397 annotated one-minute clips spanning 15 atomic actions; the second poses 144 clinician-informed multiple-choice questions, grounded in 264 hours of video and clinical records from two ICU patients. TRACER achieves up to 84.8% accuracy for action detection and 61.0% QA accuracy versus 49.3% for the strongest baseline using the same backbone. Across 280 patients spanning approximately 60,000 camera-hours, TRACER identifies significantly less purposeful activity in patients with a positive delirium assessment during their stay than in those without (p < 0.0001). Our results show that combining continuous video with clinical records can support understanding of patient behavior over time and across patient cohorts without training on protected health data.