Decoding Workload and Agreement From EEG During Spoken Dialogue With Conversational AI

📄 arXiv: 2601.05825v1 📥 PDF

作者: Lucija Mihić Zidar, Philipp Wicke, Praneel Bhatia, Rosa Lutz, Marius Klug, Thorsten O. Zander

分类: cs.HC, cs.AI

发布日期: 2026-01-09

备注: Accepted at the 14th International Winter Conference on Brain-Computer Interface

💡 一句话要点

探索脑机接口在人机对话中的应用：利用脑电信号解码工作负荷与一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑机接口 人机对话 心理工作负荷 内隐一致性 脑电信号 会话式人工智能 隐式反馈

📋 核心要点

  1. 现有心理状态解码主要在受控任务中进行，缺乏在自然人机对话中的应用，限制了大型语言模型的对齐。
  2. 论文提出利用被动脑机接口，通过脑电信号解码工作负荷和内隐一致性，为人机对话系统提供隐式反馈。
  3. 实验结果表明，工作负荷解码具有跨范式迁移能力，内隐一致性解码可精确对齐对话事件，验证了可行性。

📝 摘要（中文）

本文研究了心理工作负荷和内隐一致性的脑电(EEG)分类器是否可以迁移到人机口语对话中。为此，作者设计了两种对话范式——拼写游戏任务和句子补全任务，并构建了一个端到端的流程，用于转录、注释和对齐词语级别的对话事件与连续的脑电分类器输出。初步研究表明，工作负荷解码在口语交互过程中呈现出可解释的趋势，支持跨范式迁移。对于内隐一致性，论文展示了连续应用和与对话事件的精确时间对齐，同时也指出了与结构迁移和基于事件的分类器异步应用相关的局限性。总的来说，结果确立了将被动脑机接口信号集成到会话式人工智能系统中的可行性和约束。

🔬 方法详解

问题定义：论文旨在解决如何利用脑电信号（EEG）在人机口语对话中解码用户的心理状态，特别是工作负荷和内隐一致性。现有方法主要集中在受控实验环境中，缺乏在自然、动态的对话场景下的验证，难以直接应用于会话式人工智能系统，从而限制了AI模型更好地理解和适应用户需求。

核心思路：核心思路是将被动脑机接口（BCI）作为一种隐式反馈来源，通过分析用户在对话过程中的脑电活动，实时推断其心理状态。这种方法无需用户主动报告，能够捕捉到细微的情感和认知变化，从而为AI系统提供更丰富的信息，提升交互体验。论文假设已有的脑电分类器可以在不同对话范式中迁移，并能与对话事件精确对齐。

技术框架：整体框架包含以下几个主要模块：1) 对话任务设计：设计了拼写游戏和句子补全两种对话范式，模拟真实的人机交互场景。2) 脑电数据采集：使用脑电帽记录参与者在对话过程中的脑电信号。3) 对话转录与标注：将对话内容转录成文本，并对每个词语级别的事件进行时间戳标注。4) 脑电信号预处理与特征提取：对脑电信号进行滤波、降噪等预处理，提取与工作负荷和内隐一致性相关的特征。5) 分类器训练与应用：使用已有的脑电分类器，对提取的特征进行分类，得到连续的心理状态预测结果。6) 时间对齐与分析：将分类器输出与对话事件进行时间对齐，分析心理状态变化与对话内容之间的关系。

关键创新：主要创新在于将被动脑机接口应用于人机口语对话场景，并构建了一个端到端的流程，实现了脑电信号与对话事件的精确时间对齐。这使得研究者能够更深入地了解用户在对话过程中的心理状态变化，并为AI系统提供实时的隐式反馈。此外，论文还探索了脑电分类器在不同对话范式中的迁移能力，为未来的研究提供了参考。

关键设计：论文采用了两种对话范式：拼写游戏和句子补全，以模拟不同类型的交互场景。脑电信号的预处理包括滤波、独立成分分析（ICA）等步骤，以去除噪声和伪迹。特征提取使用了时域和频域的特征，如功率谱密度（PSD）等。分类器使用了支持向量机（SVM）等常用的机器学习算法。时间对齐采用了动态时间规整（DTW）等方法，以解决语音识别和脑电信号之间的时间延迟问题。

📊 实验亮点

实验结果表明，工作负荷解码在口语交互过程中呈现出可解释的趋势，验证了跨范式迁移的可行性。内隐一致性解码能够与对话事件进行精确的时间对齐，为进一步研究心理状态与对话内容之间的关系提供了基础。虽然存在一些局限性，但该研究为将脑机接口技术应用于会话式人工智能系统奠定了基础。

🎯 应用场景

该研究成果可应用于多种人机交互场景，例如智能客服、在线教育、辅助驾驶等。通过实时监测用户的工作负荷和情绪状态，系统可以动态调整交互策略，提供个性化的服务，提高用户满意度和工作效率。未来，该技术有望应用于情感计算、心理健康监测等领域，实现更智能、更人性化的人工智能系统。

📄 摘要（原文）

Passive brain-computer interfaces offer a potential source of implicit feedback for alignment of large language models, but most mental state decoding has been done in controlled tasks. This paper investigates whether established EEG classifiers for mental workload and implicit agreement can be transferred to spoken human-AI dialogue. We introduce two conversational paradigms - a Spelling Bee task and a sentence completion task- and an end-to-end pipeline for transcribing, annotating, and aligning word-level conversational events with continuous EEG classifier output. In a pilot study, workload decoding showed interpretable trends during spoken interaction, supporting cross-paradigm transfer. For implicit agreement, we demonstrate continuous application and precise temporal alignment to conversational events, while identifying limitations related to construct transfer and asynchronous application of event-based classifiers. Overall, the results establish feasibility and constraints for integrating passive BCI signals into conversational AI systems.