Context-Aware Topological Distillation Graph Network for Asymmetric EEG-Eye Movement Emotion Recognition
作者: Peijun Shi, Xiujin Zhu, Zhenguo Lao, Chee-Onn Chow, Wei Ru Wong, Zhen Liu, Xiaobing Jiang
分类: cs.CV, cs.HC
发布日期: 2026-10-19
💡 一句话要点
提出上下文感知拓扑蒸馏图网络以解决不对称EEG-眼动情绪识别问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: EEG情绪识别 眼动数据 多模态融合 图网络 蒸馏学习 心理健康监测 自适应接口
📋 核心要点
- 现有的EEG-眼动情绪识别模型将两种信号视为并行特征，导致在眼动数据缺失时性能显著下降。
- 本文提出的CTD-GNet通过构建电极图并利用眼动信息调制图的结构，增强了多模态特征的融合效果。
- CTD-GNet在多个基准测试中表现优异，平均准确率显著高于现有模型，尤其在眼动数据缺失情况下保持较高的识别率。
📝 摘要（中文）
EEG-眼动情绪识别可以支持心理健康监测和自适应接口，但大多数融合模型将这两种信号视为并行特征，单独分类每个窗口，且在眼动数据丢失时性能下降。本文提出上下文感知拓扑蒸馏图网络（CTD-GNet），其中EEG特征构成电极图的节点，眼动和前置窗口调制其边缘、节点和读出，边缘通过电极特定提示实现。图的双向蒸馏、节点关系和预测将多模态教师与单窗口EEG学生耦合，提升教师性能并使两个图对齐35倍。在SEED和SEED-IV的留一被试测试中，CTD-GNet的平均准确率最高，分别为84.91%和76.17%，显著高于9个和6个眼动基线模型，且在多模态模型中具有最小的跨被试差异和最高的最差被试准确率。
🔬 方法详解
问题定义：本文旨在解决EEG与眼动信号融合的情绪识别问题，现有方法在眼动数据缺失时性能下降显著。
核心思路：CTD-GNet通过将EEG特征作为电极图的节点，并利用眼动和前置窗口信息调制图的结构，增强了多模态特征的融合。
技术框架：CTD-GNet的整体架构包括电极图的构建、边缘和节点的调制、以及双向蒸馏过程，确保教师模型与学生模型的有效耦合。
关键创新：CTD-GNet的双向蒸馏机制和电极特定提示是其主要创新点，这使得模型在处理缺失数据时表现优异，与现有方法相比具有显著的性能提升。
关键设计：模型设计中采用了特定的损失函数和网络结构，以确保在多模态特征融合时的有效性，并通过实验验证了其在不同缺失率下的鲁棒性。
🖼️ 关键图片
📊 实验亮点
CTD-GNet在SEED和SEED-IV的留一被试测试中，平均准确率分别达到84.91%和76.17%，显著高于9个和6个眼动基线模型，且在眼动数据缺失情况下仍保持66.1%的准确率，表现出色。
🎯 应用场景
该研究在心理健康监测和自适应用户界面等领域具有广泛的应用潜力。通过提高情绪识别的准确性，CTD-GNet可以为情绪驱动的应用提供更可靠的支持，帮助改善用户体验和心理健康管理。
📄 摘要（原文）
EEG-eye movement emotion recognition can support mental-health monitoring and adaptive interfaces, but most fusion models treat the two signals as parallel features, classify each window alone and degrade when eye data are lost. We propose the Context-Aware Topological Distillation Graph Network (CTD-GNet), in which EEG features form the nodes of an electrode graph, and eye movements and preceding windows modulate its edges, nodes and readout, the edges through electrode-specific prompts. Bidirectional distillation of the graph, node relations and predictions couples this multimodal teacher with a single-window EEG student, improving the teacher and aligning the two graphs 35-fold. In leave-one-subject-out tests on SEED and SEED-IV against 17 baselines, CTD-GNet has the highest mean accuracy, 84.91% and 76.17%, significantly above 9 and 6 of 13 eye-based baselines after Holm correction, the smallest cross-subject spread among multimodal models and the highest worst-subject accuracy. It is the most accurate model at every rate of missing eye data on SEED-IV, keeps 66.1% on SEED without eye data, more than any EEG-only model, and stays 9.3 and 11.9 points above all single-window fusion models under eye-movement noise of one standard deviation. On film clips unseen in training, it leads on SEED with 77.1%.