End-to-End Deep Learning for Real-Time Neuroimaging-Based Assessment of Bimanual Motor Skills
作者: Aseem Subedi, Rahul, Lora Cavuoto, Steven Schwaitzberg, Matthew Hackett, Jack Norfleet, Suvranu De
分类: eess.SP, cs.LG, q-bio.NC
发布日期: 2025-03-21
💡 一句话要点
提出一种端到端深度学习框架，用于实时神经影像评估双手动技能。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: fNIRS 深度学习 双手动技能评估 实时神经影像 端到端学习
📋 核心要点
- 现有fNIRS技术评估运动技能依赖大量预处理，耗时且影响实时性。
- 提出端到端深度学习框架，直接从原始fNIRS信号中提取特征并进行技能评估。
- 实验表明，该模型在多种双手动任务中达到高精度，并对神经血管耦合饱和具有鲁棒性。
📝 摘要（中文）
复杂运动技能的实时评估在外科培训和康复等领域面临挑战。神经影像技术的最新进展，特别是功能性近红外光谱（fNIRS），能够高精度地客观评估此类技能。然而，这些技术受到提取神经生物标志物所需的大量预处理步骤的限制。本研究提出了一种新颖的端到端深度学习框架，可以直接处理原始fNIRS信号，无需中间预处理步骤。该模型在缝合、图案切割和气管插管（ETI）三种不同的双手动任务的数据集上进行了评估，使用了来自训练和保持数据集的性能指标。在未见过的技能保持数据集上，该模型实现了93.9%（SD 4.4）的平均分类准确率和92.6%（SD 1.9）的泛化准确率，留一法交叉验证的准确率为94.1%（SD 3.6）。对侧前额叶皮层激活表现出任务特定的区分能力，而运动皮层激活始终有助于准确分类。该模型还表现出对由延长任务会话引起的神经血管耦合饱和的抵抗力，在试验中保持了稳健的性能。比较分析证实，端到端模型的性能与针对完全处理的fNIRS数据优化的基线模型相当或超过，具有统计学上相似（p<0.05）或更高的预测准确性。通过消除对大量信号预处理的需求，这项工作为医疗培训环境中双手动技能的实时、非侵入性评估奠定了基础，并可能应用于机器人、康复和运动领域。
🔬 方法详解
问题定义：论文旨在解决基于fNIRS信号实时评估双手动技能的问题。现有方法需要对fNIRS信号进行大量预处理，包括滤波、降噪、伪影去除等，这不仅耗时，而且可能引入人为误差，限制了其在实时场景中的应用。
核心思路：论文的核心思路是利用深度学习的强大特征提取能力，构建一个端到端的模型，直接从原始fNIRS信号中学习到与运动技能相关的特征，从而避免了繁琐的预处理步骤。这样可以提高评估效率，并减少人为因素的干扰。
技术框架：整体框架包括数据采集、端到端深度学习模型训练和实时技能评估三个主要阶段。首先，使用fNIRS设备采集受试者在执行双手动任务时的脑部血氧信号。然后，将原始fNIRS信号输入到深度学习模型中进行训练，模型学习从原始信号到技能水平的映射关系。最后，在实时评估阶段，将新的fNIRS信号输入到训练好的模型中，即可得到实时的技能评估结果。
关键创新：最重要的创新点在于提出了端到端的学习框架，直接处理原始fNIRS信号，无需人工特征工程。这与传统方法依赖于预处理后的信号和手工设计的特征提取器有本质区别。该方法简化了流程，提高了效率，并可能发现传统方法难以捕捉的隐藏特征。
关键设计：论文中没有详细描述具体的网络结构和参数设置，这部分信息未知。但可以推测，模型可能采用了卷积神经网络（CNN）或循环神经网络（RNN）等适合处理时间序列数据的结构。损失函数可能采用了交叉熵损失函数，用于分类任务的优化。具体的超参数设置和训练策略未知。
📊 实验亮点
该模型在三种不同的双手动任务上实现了高精度，平均分类准确率达到93.9%（SD 4.4），泛化准确率达到92.6%（SD 1.9）。与针对预处理后的fNIRS数据优化的基线模型相比，该模型的性能相当或更优，且具有统计学意义上的相似或更高的预测准确性（p<0.05）。
🎯 应用场景
该研究成果可应用于外科手术培训、康复治疗、运动技能学习等领域。通过实时评估操作者的技能水平，可以提供个性化的指导和反馈，提高培训效率和治疗效果。此外，该技术还可用于机器人控制，使机器人能够根据操作者的脑部活动进行自主操作。
📄 摘要（原文）
The real-time assessment of complex motor skills presents a challenge in fields such as surgical training and rehabilitation. Recent advancements in neuroimaging, particularly functional near-infrared spectroscopy (fNIRS), have enabled objective assessment of such skills with high accuracy. However, these techniques are hindered by extensive preprocessing requirements to extract neural biomarkers. This study presents a novel end-to-end deep learning framework that processes raw fNIRS signals directly, eliminating the need for intermediate preprocessing steps. The model was evaluated on datasets from three distinct bimanual motor tasks--suturing, pattern cutting, and endotracheal intubation (ETI)--using performance metrics derived from both training and retention datasets. It achieved a mean classification accuracy of 93.9% (SD 4.4) and a generalization accuracy of 92.6% (SD 1.9) on unseen skill retention datasets, with a leave-one-subject-out cross-validation yielding an accuracy of 94.1% (SD 3.6). Contralateral prefrontal cortex activations exhibited task-specific discriminative power, while motor cortex activations consistently contributed to accurate classification. The model also demonstrated resilience to neurovascular coupling saturation caused by extended task sessions, maintaining robust performance across trials. Comparative analysis confirms that the end-to-end model performs on par with or surpasses baseline models optimized for fully processed fNIRS data, with statistically similar (p<0.05) or improved prediction accuracies. By eliminating the need for extensive signal preprocessing, this work provides a foundation for real-time, non-invasive assessment of bimanual motor skills in medical training environments, with potential applications in robotics, rehabilitation, and sports.