Multimodal Bayesian Network for Robust Assessment of Casualties in Autonomous Triage

📄 arXiv: 2512.18908v1 📥 PDF

作者: Szymon Rusiecki, Cecilia G. Morales, Kimberly Elenberg, Leonard Weiss, Artur Dubrawski

分类: cs.AI

发布日期: 2025-12-21

备注: Accepted at NeurIPS 2025 Workshop: Structured Probabilistic Inference & Generative Modeling

💡 一句话要点

提出一种多模态贝叶斯网络，用于自主分诊中对伤员的稳健评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 贝叶斯网络 自主分诊 专家知识 计算机视觉

📋 核心要点

  1. 大规模伤亡事件中，传统人工分诊易出错且效率低，现有数据驱动模型依赖大量训练数据，泛化性差。
  2. 提出一种基于专家知识构建的多模态贝叶斯网络，融合计算机视觉模型输出，进行伤情评估和分诊。
  3. 实验结果表明，该方法在分诊准确率和诊断覆盖率方面均显著优于仅使用视觉的基线方法，提升明显。

📝 摘要（中文）

大规模伤亡事件可能使紧急医疗系统不堪重负，导致伤员评估的延误或错误，进而造成可预防的死亡。本文提出了一种决策支持框架，该框架融合了多个计算机视觉模型的输出，用于估计严重出血、呼吸窘迫、身体警觉性或可见创伤的迹象，并将这些信息整合到一个完全由专家定义的规则构建的贝叶斯网络中。与传统的数据驱动模型不同，我们的方法不需要训练数据，支持在信息不完整的情况下进行推理，并且对嘈杂或不确定的观察结果具有鲁棒性。我们报告了在两次任务中的性能，分别涉及11名和9名伤员，在DARPA分诊挑战赛（DTC）的现场场景中评估我们的系统时，我们的贝叶斯网络模型明显优于仅使用视觉的基线。生理评估的准确率在第一个场景中从15%提高到42%，在第二个场景中从19%提高到46%，性能提升了近三倍。更重要的是，所有患者的总体分诊准确率从14%提高到53%，而系统诊断覆盖率从需要评估的病例的31%扩大到95%。这些结果表明，专家知识指导下的概率推理可以显著增强自动分诊系统，为支持大规模伤亡事件中的急救人员提供了一种有前景的方法。这种方法使Chiron团队在DTC的第一次物理轮中获得了11支队伍中的第4名。

🔬 方法详解

问题定义：论文旨在解决大规模伤亡事件（MCI）中，传统人工分诊效率低、易出错的问题。现有数据驱动的自动分诊模型通常需要大量的标注数据进行训练，这在实际应用中往往难以满足，并且模型的泛化能力有限，难以应对各种复杂的现场情况。此外，现有方法对噪声和不确定性的处理能力较弱。

核心思路：论文的核心思路是利用专家知识构建贝叶斯网络，将来自多个计算机视觉模型的输出进行融合，从而实现对伤员的稳健评估和分诊。这种方法避免了对大量训练数据的依赖，并且能够利用概率推理来处理不确定性和噪声。通过融合多模态信息，可以更全面地了解伤员的状况，提高分诊的准确性。

技术框架：该方法的技术框架主要包括以下几个模块：1) 计算机视觉模型：用于检测和识别伤员的各种生理指标，例如出血、呼吸困难、意识状态和可见的创伤。2) 专家知识库：包含专家定义的规则，用于描述各种生理指标与伤情严重程度之间的关系。3) 贝叶斯网络：将计算机视觉模型的输出和专家知识库中的规则进行整合，用于推断伤员的伤情严重程度，并进行分诊。整体流程是，首先利用计算机视觉模型提取伤员的生理指标，然后将这些指标输入到贝叶斯网络中，贝叶斯网络根据专家知识库中的规则进行推理，最终输出伤员的伤情严重程度和分诊结果。

关键创新：该方法最重要的技术创新点在于利用专家知识构建贝叶斯网络，而不是依赖于大量的数据进行训练。这种方法的优势在于：1) 避免了对大量标注数据的需求。2) 能够利用专家知识来提高模型的准确性和鲁棒性。3) 能够处理不确定性和噪声。与现有方法的本质区别在于，该方法是一种基于知识的推理方法，而现有方法大多是基于数据的学习方法。

关键设计：贝叶斯网络的结构完全由专家定义的规则决定，节点代表生理指标和伤情严重程度，边代表它们之间的依赖关系。论文中没有明确提及具体的参数设置或损失函数，因为该方法不需要训练。计算机视觉模型是预训练好的，用于提取伤员的生理指标。贝叶斯网络的推理过程采用标准的概率推理算法，例如信念传播算法。

🖼️ 关键图片

fig_0

📊 实验亮点

在DARPA分诊挑战赛（DTC）的现场场景中，该方法在两个任务中分别涉及11名和9名伤员的评估，生理评估的准确率从15%提高到42%，以及从19%提高到46%，性能提升了近三倍。更重要的是，所有患者的总体分诊准确率从14%提高到53%，而系统诊断覆盖率从需要评估的病例的31%扩大到95%。

🎯 应用场景

该研究成果可应用于各种大规模伤亡事件的自动分诊场景，例如自然灾害、恐怖袭击和交通事故等。通过提高分诊的效率和准确性，可以减少伤员的死亡率和致残率，具有重要的社会价值。未来，该方法可以与其他技术相结合，例如机器人技术和物联网技术，构建更加智能化的自动分诊系统。

📄 摘要（原文）

Mass Casualty Incidents can overwhelm emergency medical systems and resulting delays or errors in the assessment of casualties can lead to preventable deaths. We present a decision support framework that fuses outputs from multiple computer vision models, estimating signs of severe hemorrhage, respiratory distress, physical alertness, or visible trauma, into a Bayesian network constructed entirely from expert-defined rules. Unlike traditional data-driven models, our approach does not require training data, supports inference with incomplete information, and is robust to noisy or uncertain observations. We report performance for two missions involving 11 and 9 casualties, respectively, where our Bayesian network model substantially outperformed vision-only baselines during evaluation of our system in the DARPA Triage Challenge (DTC) field scenarios. The accuracy of physiological assessment improved from 15% to 42% in the first scenario and from 19% to 46% in the second, representing nearly threefold increase in performance. More importantly, overall triage accuracy increased from 14% to 53% in all patients, while the diagnostic coverage of the system expanded from 31% to 95% of the cases requiring assessment. These results demonstrate that expert-knowledge-guided probabilistic reasoning can significantly enhance automated triage systems, offering a promising approach to supporting emergency responders in MCIs. This approach enabled Team Chiron to achieve 4th place out of 11 teams during the 1st physical round of the DTC.