NeuroCommitSSM: Decision-Centric Shared Autonomy for Safe Assistive Manipulation via EEG-EMG-ET Commit Readiness

📄 arXiv: 2607.15395 📥 PDF

作者: Tipu Sultan, Param Sangani, Kody Cool, Pascal Sikorski, Guangping Liu, Hadi Akbarpour, Madi Babaiasl

分类: cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出NeuroCommitSSM以解决安全辅助操控中的决策执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 辅助机器人 决策执行 脑电图 肌电图 眼动追踪 安全操控 多模态融合

📋 核心要点

  1. 现有方法在辅助机器人操控中缺乏有效的决策执行机制，容易导致不安全的操作。
  2. NeuroCommitSSM通过预测执行准备评分并结合实时感知，确保安全的决策执行。
  3. 实验结果表明，该框架在多种传感器丢失情况下仍能保持高准确率和低误执行率。

📝 摘要（中文）

我们提出了NeuroCommitSSM，这是一个以决策为中心的框架，旨在安全地执行辅助机器人操控中的操作。该框架通过同步的脑电图（EEG）、肌电图（EMG）和眼动追踪（ET）预测连续的执行准备评分，并通过滞后和滞后过滤将其转换为离散的执行事件。一个三状态有限状态监督器HOLD-ASSIST-COMMIT（HAC）在执行前要求神经模型提供持续的准备信号，并实时感知机器人状态的可行性。我们在32名受试者执行五项日常生活活动的实验中评估了该框架，结果显示NeuroCommitSSM在传感器丢失情况下仍能保持低误执行率和稳定的状态转换。

🔬 方法详解

问题定义：论文旨在解决辅助机器人操控中的决策执行问题，现有方法往往只关注执行内容，缺乏对何时执行的有效控制，导致潜在的安全隐患。

核心思路：NeuroCommitSSM通过结合EEG、EMG和ET数据，预测一个连续的执行准备评分，并通过特定的过滤机制将其转化为离散的执行事件，从而实现安全的操控决策。

技术框架：整体架构包括数据采集模块（EEG、EMG、ET）、评分预测模块、状态监督模块（HOLD-ASSIST-COMMIT），以及执行控制模块。HAC模块确保在执行前满足准备信号和状态可行性。

关键创新：该框架的创新之处在于引入了决策中心的执行准备评分机制，并通过实时感知与状态监督相结合，显著提高了执行的安全性和可靠性。

关键设计：在设计中，使用了滞后和滞后过滤技术来处理评分信号，确保执行的稳定性。此外，采用了三状态有限状态机来控制执行过程，确保在各种状态下的安全性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，NeuroCommitSSM在32名受试者的日常生活活动中实现了0.950的动作平衡准确率，并在EEG-only条件下达到0.785的平衡准确率，且每1000个REST窗口仅有0.29次误执行事件，显著优于基线模型的99.95次误执行事件。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医疗辅助机器人、智能家居和人机协作等领域。通过提高机器人操控的安全性和可靠性，NeuroCommitSSM可以有效支持老年人和残疾人的日常生活，提升他们的生活质量。未来，该框架还可能扩展到其他需要安全决策执行的智能系统中。

📄 摘要（原文）

We present NeuroCommitSSM, a decision-centric framework that models when to execute, not just what to do, for safe commit-to-execute control in assistive robotic manipulation. NeuroCommitSSM predicts a continuous commit-readiness score c_t in [0,1] from synchronized electroencephalography (EEG), electromyography (EMG), and eye-tracking (ET), and converts it into discrete commit events through dwell and hysteresis filtering. A three-state finite-state supervisor, HOLD-ASSIST-COMMIT (HAC), gates execution by requiring both a sustained commit-readiness signal from the neural model and real-time perception and robot-state feasibility, including target visibility, inverse kinematics solvability, and collision-free planning, before initiating motion. We evaluate the framework on N=32 subjects performing five activities of daily living (ADL) tasks aligned with the International Classification of Functioning, Disability and Health (ICF), using leave-one-subject-out (LOSO) cross-validation and seven sensor-dropout scenarios (S0-S6). NeuroCommitSSM achieves 0.950 action-balanced accuracy with 0.75 false commit events per 1000 REST windows (FP/1k REST), and maintains low false commits and stable state transitions under sensor loss. For example, in the EEG-only condition, it achieves 0.785 balanced accuracy and 0.29 FP/1k REST, whereas the Temporal Convolutional Network baseline produces 99.95 FP/1k REST under the same condition. Hardware-in-the-loop (HIL) validation on a Kinova Gen3 arm shows that feasibility-checked execution reduces false starts and decision instability without sacrificing task success. Supplementary materials, including code, datasets, videos, and additional analyses, are available atthis https URL.