An AI-Driven Multimodal Smart Home Platform for Continuous Monitoring and Assistance in Post-Stroke Motor Impairment

📄 arXiv: 2411.19000v4 📥 PDF

作者: Chenyu Tang, Ruizhi Zhang, Shuo Gao, Zihe Zhao, Zibo Zhang, Jiaqi Wang, Cong Li, Junliang Chen, Yanning Dai, Shengbo Wang, Ruoyu Juan, Qiaoying Li, Ruimou Xie, Xuhang Chen, Xinkai Zhou, Yunjia Xia, Jianan Chen, Fanghao Lu, Xin Li, Ninglli Wang, Peter Smielewski, Yu Pan, Hubin Zhao, Luigi G. Occhipinti

分类: cs.HC, cs.AI, eess.SY

发布日期: 2024-11-28 (更新: 2025-10-15)

备注: 5 figures, 41 references

DOI: 10.1109/TNSRE.2025.3645093

💡 一句话要点

提出AI驱动的多模态智能家居平台，用于卒中后运动障碍的持续监测与辅助康复。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能家居 卒中康复 多模态融合 物联网 大型语言模型 可穿戴设备 运动监测

📋 核心要点

  1. 卒中后患者的居家康复面临挑战，缺乏持续、个性化的护理，且缺乏集成解决方案同时监测运动恢复并提供智能辅助。
  2. 该研究提出一种多模态智能家居平台，通过可穿戴设备、环境传感器和LLM代理，实现对患者运动状态的监测和个性化干预。
  3. 实验结果表明，该平台显著提高了卒中后患者的满意度，并具有在神经康复和居家养老领域推广的潜力。

📝 摘要（中文）

本研究提出了一种多模态智能家居平台，旨在为卒中后患者提供持续的居家康复。该平台集成了可穿戴传感、环境监测和自适应自动化技术。配备机器学习管线的足底压力鞋垫能够以高达94%的准确率将用户分类到不同的运动恢复阶段，从而量化跟踪日常活动中的行走模式。可选的头戴式眼动追踪模块与摄像头、麦克风等环境传感器相结合，支持对家用设备进行完全免提控制，成功率达100%，响应时间小于1秒。这些数据流通过分层物联网(IoT)架构在本地融合，确保低延迟和数据隐私。嵌入式大型语言模型(LLM)代理Auto-Care持续解释多模态数据，提供实时干预——发布个性化提醒、调整环境条件和通知看护者。在卒中后环境中实施该集成智能家居平台后，用户的平均满意度从传统家居环境中的3.9±0.8提高到完整系统中的8.4±0.6（n=20）。除了卒中，该系统还提供了一个可扩展的、以患者为中心的框架，具有在更广泛的神经康复和居家养老应用中长期使用的潜力。

🔬 方法详解

问题定义：卒中后患者居家康复缺乏有效的持续监测和个性化辅助手段。现有方法难以集成多种数据源，无法提供实时的、情境感知的干预措施，导致康复效果受限。现有智能家居系统缺乏对患者运动功能恢复情况的精确评估和针对性干预。

核心思路：该研究的核心思路是构建一个多模态智能家居环境，利用可穿戴传感器、环境传感器和大型语言模型（LLM）代理，实现对患者运动状态的全面监测和个性化干预。通过融合多种数据源，系统能够理解患者的活动和需求，并提供实时的提醒、环境调整和看护者通知。

技术框架：该平台采用分层物联网（IoT）架构，包括以下主要模块：1) 可穿戴传感器（足底压力鞋垫、眼动追踪模块），用于收集患者的运动数据和交互行为；2) 环境传感器（摄像头、麦克风），用于监测患者的活动和环境状态；3) 本地数据融合模块，用于将来自不同传感器的数据进行融合和处理，确保低延迟和数据隐私；4) 嵌入式LLM代理Auto-Care，用于解释多模态数据，提供实时干预；5) 用户界面，用于与患者和看护者进行交互。

关键创新：该研究的关键创新在于：1) 集成了多种传感器和LLM代理，实现了对患者运动状态的全面监测和个性化干预；2) 采用分层IoT架构，确保了低延迟和数据隐私；3) 利用足底压力鞋垫和机器学习管线，实现了对患者运动恢复阶段的准确分类；4) 通过LLM代理Auto-Care，实现了对患者需求的实时理解和响应。

关键设计：足底压力鞋垫采用多个压力传感器，收集患者行走时的压力分布数据。机器学习管线使用这些数据训练分类模型，以识别患者的运动恢复阶段。眼动追踪模块用于捕捉患者的视线方向，从而实现免提设备控制。LLM代理Auto-Care使用多模态数据作为输入，生成个性化的提醒和干预措施。系统的关键参数包括压力传感器的采样频率、机器学习模型的选择和训练参数、LLM代理的prompt设计等。

📊 实验亮点

实验结果表明，配备机器学习管线的足底压力鞋垫能够以高达94%的准确率将用户分类到不同的运动恢复阶段。眼动追踪模块与环境传感器相结合，支持对家用设备进行完全免提控制，成功率达100%，响应时间小于1秒。在卒中后环境中实施该集成智能家居平台后，用户的平均满意度从传统家居环境中的3.9±0.8提高到完整系统中的8.4±0.6（n=20）。

🎯 应用场景

该研究成果可应用于卒中后患者的居家康复，提供持续的运动监测和个性化辅助，提高康复效果和患者生活质量。此外，该平台还可扩展到其他神经康复领域，如帕金森病、老年痴呆症等，以及居家养老应用，为老年人提供安全、舒适的生活环境。该系统具有长期使用的潜力，能够持续收集患者数据，为个性化医疗提供支持。

📄 摘要（原文）

At-home rehabilitation for post-stroke patients presents significant challenges, as continuous, personalized care is often limited outside clinical settings. Moreover, the lack of integrated solutions capable of simultaneously monitoring motor recovery and providing intelligent assistance in home environments hampers rehabilitation outcomes. Here, we present a multimodal smart home platform designed for continuous, at-home rehabilitation of post-stroke patients, integrating wearable sensing, ambient monitoring, and adaptive automation. A plantar pressure insole equipped with a machine learning pipeline classifies users into motor recovery stages with up to 94\% accuracy, enabling quantitative tracking of walking patterns during daily activities. An optional head-mounted eye-tracking module, together with ambient sensors such as cameras and microphones, supports seamless hands-free control of household devices with a 100\% success rate and sub-second response time. These data streams are fused locally via a hierarchical Internet of Things (IoT) architecture, ensuring low latency and data privacy. An embedded large language model (LLM) agent, Auto-Care, continuously interprets multimodal data to provide real-time interventions -- issuing personalized reminders, adjusting environmental conditions, and notifying caregivers. Implemented in a post-stroke context, this integrated smart home platform increased mean user satisfaction from 3.9 $\pm$ 0.8 in conventional home environments to 8.4 $\pm$ 0.6 with the full system ($n=20$). Beyond stroke, the system offers a scalable, patient-centered framework with potential for long-term use in broader neurorehabilitation and aging-in-place applications.