Siamese Network with Dual Attention for EEG-Driven Social Learning: Bridging the Human-Robot Gap in Long-Tail Autonomous Driving

📄 arXiv: 2504.10296v1 📥 PDF

作者: Xiaoshan Zhou, Carol C. Menassa, Vineet R. Kamat

分类: cs.RO, cs.HC, cs.LG

发布日期: 2025-04-14

备注: 50 pages, 18 figures

💡 一句话要点

提出双注意力Siamese网络，用于脑电驱动的社交学习，解决长尾自动驾驶人机交互问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 脑机接口 Siamese网络 双注意力机制 长尾自动驾驶 人机协作 认知机器人 动态时间弯曲 脑电信号

📋 核心要点

  1. 现有机器人缺乏从人机交互反馈中学习的关键途径，限制了其认知发展。
  2. 提出双注意力Siamese网络，结合动态时间弯曲重心平均，增强脑电信号表征的鲁棒性。
  3. 实验表明，该模型在数据稀缺条件下达到80%的分类准确率，显著提升了特征效用。

📝 摘要（中文）

本研究提出了一种脑机接口(BCI)框架，通过分类脑电图(EEG)信号来检测认知需求高和安全关键事件，从而弥合人与机器人之间的差距。该框架模拟了人机协作场景，用于标记半自主机器人驾驶中的风险事件，这些事件代表了长尾案例，构成了智能移动系统和机器人车辆安全性能的瓶颈。利用小样本学习的最新进展，我们提出了一种双注意力Siamese卷积网络，并结合动态时间弯曲重心平均方法，以生成鲁棒的脑电编码信号表示。逆源定位显示Broadman 4区和9区的激活，表明任务相关心理意象期间的感知-行动耦合。该模型在数据稀缺条件下实现了80%的分类准确率，并且与最先进的方法相比，显著特征的效用提高了近100%。这项研究有助于理解BCI代理所需的认知架构，特别是在分类不同心理状态以及支持主体间和主体内适应过程中，注意力和记忆机制的作用。总而言之，这项研究推进了认知机器人技术和社会引导学习在复杂建筑环境中服务机器人的发展。

🔬 方法详解

问题定义：论文旨在解决机器人，特别是自动驾驶机器人，在复杂环境中与人类进行有效社交学习的问题。现有方法难以处理长尾场景下的安全关键事件，并且缺乏从人类反馈中学习的有效机制，导致机器人难以适应动态和不确定的环境。

核心思路：论文的核心思路是利用脑机接口(BCI)技术，通过分析人类的脑电信号(EEG)来识别认知需求高和安全关键的事件。通过学习人类在这些事件中的脑电活动模式，机器人可以更好地理解人类的意图和状态，从而做出更安全和更合理的决策。Siamese网络用于学习脑电信号的相似性，从而实现小样本学习。

技术框架：整体框架包括以下几个主要阶段：1) 数据采集：使用脑电图(EEG)记录人类在模拟自动驾驶场景中的脑电活动。2) 信号预处理：对脑电信号进行滤波、降噪等预处理操作。3) 特征提取：使用卷积神经网络(CNN)从脑电信号中提取特征。4) Siamese网络训练：使用双注意力Siamese网络学习脑电信号的相似性度量。5) 分类：使用学习到的相似性度量对新的脑电信号进行分类，判断是否为安全关键事件。6) 逆源定位：分析脑电信号的来源，了解大脑的激活区域。

关键创新：论文的关键创新在于：1) 提出了双注意力机制，用于增强Siamese网络对重要脑电特征的关注。2) 结合动态时间弯曲重心平均方法，生成更鲁棒的脑电信号表示。3) 将该方法应用于长尾自动驾驶场景，解决了传统方法难以处理的安全关键事件。

关键设计：双注意力Siamese网络包含两个并行的卷积神经网络分支，每个分支都包含一个注意力模块，用于选择重要的脑电特征。动态时间弯曲重心平均用于生成更具代表性的脑电信号模板。损失函数采用对比损失，用于学习脑电信号的相似性度量。实验中，使用了Broadman区域4和9作为逆源定位的关注区域，这些区域与感知-行动耦合相关。

📊 实验亮点

实验结果表明，该模型在数据稀缺条件下实现了80%的分类准确率。与最先进的方法相比，该模型显著特征的效用提高了近100%，证明了双注意力机制和动态时间弯曲重心平均方法的有效性。逆源定位结果显示，Broadman 4区和9区的激活，表明任务相关心理意象期间的感知-行动耦合。

🎯 应用场景

该研究成果可应用于多种人机协作场景，例如：辅助驾驶、远程医疗、智能家居等。通过脑机接口技术，机器人可以更好地理解人类的意图和状态，从而提供更安全、更智能的服务。该研究还有助于开发更先进的认知机器人，使其能够更好地适应复杂和动态的环境。

📄 摘要（原文）

Robots with wheeled, quadrupedal, or humanoid forms are increasingly integrated into built environments. However, unlike human social learning, they lack a critical pathway for intrinsic cognitive development, namely, learning from human feedback during interaction. To understand human ubiquitous observation, supervision, and shared control in dynamic and uncertain environments, this study presents a brain-computer interface (BCI) framework that enables classification of Electroencephalogram (EEG) signals to detect cognitively demanding and safety-critical events. As a timely and motivating co-robotic engineering application, we simulate a human-in-the-loop scenario to flag risky events in semi-autonomous robotic driving-representative of long-tail cases that pose persistent bottlenecks to the safety performance of smart mobility systems and robotic vehicles. Drawing on recent advances in few-shot learning, we propose a dual-attention Siamese convolutional network paired with Dynamic Time Warping Barycenter Averaging approach to generate robust EEG-encoded signal representations. Inverse source localization reveals activation in Broadman areas 4 and 9, indicating perception-action coupling during task-relevant mental imagery. The model achieves 80% classification accuracy under data-scarce conditions and exhibits a nearly 100% increase in the utility of salient features compared to state-of-the-art methods, as measured through integrated gradient attribution. Beyond performance, this study contributes to our understanding of the cognitive architecture required for BCI agents-particularly the role of attention and memory mechanisms-in categorizing diverse mental states and supporting both inter- and intra-subject adaptation. Overall, this research advances the development of cognitive robotics and socially guided learning for service robots in complex built environments.