A Novel Multimodal System to Predict Agitation in People with Dementia Within Clinical Settings: A Proof of Concept
作者: Abeer Badawi, Somayya Elmoghazy, Samira Choudhury, Sara Elgazzar, Khalid Elgazzar, Amer Burhan
分类: cs.MM, cs.AI, cs.CV
发布日期: 2024-10-26
DOI: 10.2196/68156
💡 一句话要点
提出一种多模态系统，用于预测痴呆症患者在临床环境中的躁动行为
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 痴呆症 躁动预测 多模态融合 可穿戴设备 深度学习
📋 核心要点
- 现有痴呆症患者躁动评估依赖照护者报告，存在主观性和滞后性，难以实时准确地预测躁动行为。
- 该研究提出一种多模态系统，结合EmbracePlus腕带和视频分析，实时监测生理和行为特征，预测躁动事件。
- 初步实验表明，该系统能提前6分钟预测躁动，并利用隐私保护的视频分析辅助标注躁动事件的起止时间。
📝 摘要（中文）
痴呆症是一种神经退行性疾病，影响着全球数百万人。虽然认知障碍严重致残，但痴呆症的非认知特征，即神经精神症状（NPS），与生活质量下降密切相关。痴呆症患者（PwD）的躁动和攻击行为（AA）会增加痛苦和医疗需求。目前的评估方法依赖于照护者的干预和事件报告，引入了主观性和偏差。人工智能（AI）和预测算法为实时检测痴呆症患者的AA事件提供了潜在的解决方案。我们提出了一个为期5年的研究系统，该系统集成了多模态方法，利用EmbracePlus腕带和视频检测系统来预测重度痴呆症患者的AA。我们与安大略省海岸精神健康研究所的三名参与者进行了一项初步研究，以验证系统的功能。该系统收集和处理来自EmbracePlus腕带的原始和数字生物标志物，以准确预测AA。该系统还检测到AA事件前至少六分钟的预躁动模式，这是以前从EmbracePlus腕带中未发现的。此外，隐私保护视频系统使用掩蔽工具来隐藏帧中人物的特征，并采用深度学习模型进行AA检测。视频系统还有助于识别躁动事件的实际开始和结束时间以进行标记。初步数据分析的有希望的结果强调了该系统预测AA事件的能力。该系统能够在没有外部帮助的情况下自主实时运行并识别AA和预躁动症状，代表了该研究领域的一个重要里程碑。
🔬 方法详解
问题定义：该论文旨在解决痴呆症患者躁动和攻击行为（AA）难以实时、客观预测的问题。现有方法主要依赖于照护者的主观报告，存在滞后性和偏差，无法及时干预，影响患者生活质量和增加医疗负担。
核心思路：论文的核心思路是利用多模态数据融合，结合可穿戴设备（EmbracePlus腕带）采集的生理数据和视频监控系统捕捉的行为数据，构建一个能够实时、客观地预测AA事件的系统。通过分析生理和行为特征，提前预警躁动状态，为及时干预提供依据。
技术框架：该系统主要包含两个模块：1) 基于EmbracePlus腕带的生理数据分析模块：该模块负责收集和处理腕带采集的原始生理数据，提取数字生物标志物，并利用机器学习模型预测AA事件。2) 基于视频的AA检测模块：该模块使用隐私保护的视频系统，通过掩蔽工具隐藏人物特征，然后利用深度学习模型进行AA检测，并辅助标注AA事件的起止时间。两个模块的结果可以相互验证和补充，提高预测的准确性和可靠性。
关键创新：该论文的关键创新在于：1) 多模态数据融合：将生理数据和行为数据相结合，更全面地反映患者的状态，提高预测准确性。2) 提前预测：系统能够提前至少6分钟预测AA事件，为及时干预提供时间窗口。3) 隐私保护：视频系统采用掩蔽技术，保护患者隐私。4) 自动化：系统能够在没有外部帮助的情况下自主实时运行，降低人工成本。
关键设计：EmbracePlus腕带用于采集生理数据，包括心率、皮肤电导等。视频系统采用深度学习模型进行AA检测，具体的网络结构和损失函数未知。隐私保护方面，采用了掩蔽工具来隐藏视频中人物的面部特征。系统能够检测到AA事件前至少六分钟的预躁动模式，但具体的算法细节未知。
🖼️ 关键图片
📊 实验亮点
初步实验结果表明，该系统能够提前至少6分钟预测痴呆症患者的躁动事件，这是以往基于EmbracePlus腕带数据分析所未发现的。此外，隐私保护的视频系统能够辅助标注躁动事件的起止时间，为后续研究提供更准确的标签数据。虽然具体的性能指标（如准确率、召回率）未给出，但初步结果显示了该系统在躁动预测方面的潜力。
🎯 应用场景
该研究成果可应用于临床环境中，为痴呆症患者提供实时的躁动预测和预警，辅助医护人员进行早期干预，降低患者的痛苦和医疗成本。此外，该系统也可用于家庭环境，帮助照护者更好地了解患者的状态，提供个性化的照护方案。未来，该技术有望推广到其他神经精神疾病的监测和管理中。
📄 摘要（原文）
Dementia is a neurodegenerative condition that combines several diseases and impacts millions around the world and those around them. Although cognitive impairment is profoundly disabling, it is the noncognitive features of dementia, referred to as Neuropsychiatric Symptoms (NPS), that are most closely associated with a diminished quality of life. Agitation and aggression (AA) in people living with dementia (PwD) contribute to distress and increased healthcare demands. Current assessment methods rely on caregiver intervention and reporting of incidents, introducing subjectivity and bias. Artificial Intelligence (AI) and predictive algorithms offer a potential solution for detecting AA episodes in PwD when utilized in real-time. We present a 5-year study system that integrates a multimodal approach, utilizing the EmbracePlus wristband and a video detection system to predict AA in severe dementia patients. We conducted a pilot study with three participants at the Ontario Shores Mental Health Institute to validate the functionality of the system. The system collects and processes raw and digital biomarkers from the EmbracePlus wristband to accurately predict AA. The system also detected pre-agitation patterns at least six minutes before the AA event, which was not previously discovered from the EmbracePlus wristband. Furthermore, the privacy-preserving video system uses a masking tool to hide the features of the people in frames and employs a deep learning model for AA detection. The video system also helps identify the actual start and end time of the agitation events for labeling. The promising results of the preliminary data analysis underscore the ability of the system to predict AA events. The ability of the proposed system to run autonomously in real-time and identify AA and pre-agitation symptoms without external assistance represents a significant milestone in this research field.