REST-HANDS: Rehabilitation with Egocentric Vision Using Smartglasses for Treatment of Hands after Surviving Stroke

📄 arXiv: 2409.20116v1 📥 PDF

作者: Wiktor Mucha, Kentaro Tanaka, Martin Kampel

分类: cs.CV

发布日期: 2024-09-30

备注: Accepted at ACVR ECCV 2024

💡 一句话要点

REST-HANDS：利用智能眼镜和第一视角视觉进行中风后手部康复

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手部康复 智能眼镜 第一视角视觉 运动识别 形式评估 重复计数 远程医疗 深度学习

📋 核心要点

  1. 中风后手部功能障碍严重影响患者生活质量，传统康复依赖医疗支持，成本高且效率低。
  2. 利用智能眼镜记录第一视角视频，实现自动运动识别、形式评估和重复计数，进行远程康复。
  3. 构建REST-HANDS数据集，并在运动识别、形式评估和重复计数任务上取得高精度，验证可行性。

📝 摘要（中文）

中风是全球第三大死亡和残疾原因，是一个重要的全球健康问题。中风幸存者面临的主要挑战是持续的手部功能障碍，这严重影响了他们进行日常活动的能力和整体生活质量。为了恢复他们的手部功能，中风幸存者需要康复治疗。然而，传统的康复需要持续的医疗支持，造成对负担过重的医疗系统的依赖。本文探讨了使用商用智能眼镜（特别是RayBan Stories）的第一视角记录进行远程手部康复的可能性。我们的方法包括离线实验，以评估智能眼镜在自动运动识别、运动形式评估和重复计数方面的潜力。我们提出了REST-HANDS，这是第一个第一视角手部运动视频数据集。使用最先进的方法，我们建立了基准，在运动识别（98.55%）、形式评估（86.98%）和重复计数（平均绝对误差为1.33）方面具有很高的准确率。我们的研究证明了使用智能眼镜的第一视角视频进行远程康复的可行性，为进一步研究铺平了道路。

🔬 方法详解

问题定义：论文旨在解决中风患者手部康复过程中，传统康复方式依赖医疗资源、成本高昂且患者依从性差的问题。现有方法缺乏有效的远程康复手段，难以实现个性化和持续的康复训练。

核心思路：论文的核心思路是利用智能眼镜的第一视角视频，捕捉患者手部运动过程，通过计算机视觉技术自动识别运动类型、评估运动质量并计数，从而实现远程、低成本、个性化的手部康复指导。这种方式可以减少患者对医疗资源的依赖，提高康复的便利性和依从性。

技术框架：整体框架包括数据采集、数据集构建、模型训练和评估三个主要阶段。首先，使用RayBan Stories智能眼镜采集手部运动视频，构建REST-HANDS数据集。然后，针对运动识别、形式评估和重复计数三个任务，分别训练深度学习模型。最后，评估模型在REST-HANDS数据集上的性能。

关键创新：论文的关键创新在于将智能眼镜的第一视角视频应用于手部康复领域，并构建了相应的REST-HANDS数据集。此外，论文还针对性地设计了运动识别、形式评估和重复计数的模型，并取得了较好的性能。与现有方法相比，该方法无需额外的传感器或设备，更加便捷和易于推广。

关键设计：论文使用了现有的深度学习模型，并针对具体任务进行了调整。例如，运动识别可能采用了时间序列模型（如LSTM或Transformer），形式评估可能采用了姿态估计模型，重复计数可能采用了目标检测或跟踪模型。具体的网络结构、损失函数和参数设置在论文中应该有详细描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了REST-HANDS数据集，并在该数据集上取得了显著的实验结果。运动识别准确率达到98.55%，形式评估准确率达到86.98%，重复计数平均绝对误差为1.33。这些结果表明，使用智能眼镜的第一视角视频进行手部康复是可行的，并为未来的研究奠定了基础。

🎯 应用场景

该研究成果可应用于中风患者的远程手部康复，也可扩展到其他需要运动康复的疾病，如骨科疾病、神经系统疾病等。通过智能眼镜和AI技术，患者可以在家中或社区进行康复训练，减少对医疗资源的依赖，提高康复效果和生活质量。未来，该技术有望与虚拟现实、游戏等技术结合，提供更具趣味性和互动性的康复体验。

📄 摘要（原文）

Stroke represents the third cause of death and disability worldwide, and is recognised as a significant global health problem. A major challenge for stroke survivors is persistent hand dysfunction, which severely affects the ability to perform daily activities and the overall quality of life. In order to regain their functional hand ability, stroke survivors need rehabilitation therapy. However, traditional rehabilitation requires continuous medical support, creating dependency on an overburdened healthcare system. In this paper, we explore the use of egocentric recordings from commercially available smart glasses, specifically RayBan Stories, for remote hand rehabilitation. Our approach includes offline experiments to evaluate the potential of smart glasses for automatic exercise recognition, exercise form evaluation and repetition counting. We present REST-HANDS, the first dataset of egocentric hand exercise videos. Using state-of-the-art methods, we establish benchmarks with high accuracy rates for exercise recognition (98.55%), form evaluation (86.98%), and repetition counting (mean absolute error of 1.33). Our study demonstrates the feasibility of using egocentric video from smart glasses for remote rehabilitation, paving the way for further research.