OmniNeuro: A Multimodal HCI Framework for Explainable BCI Feedback via Generative AI and Sonification

📄 arXiv: 2601.00843v1 📥 PDF

作者: Ayda Aghaei Nia

分类: cs.AI

发布日期: 2025-12-28

备注: 16 pages, 7 figures, 3 tables. Source code and implementation available at: https://github.com/ayda-aghaei/OmniNeuro. Highlights the use of LLMs (Gemini) and Quantum probability formalism for real-time BCI explainability

💡 一句话要点

提出OmniNeuro框架以解决BCI反馈的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑机接口 可解释性 人机交互 生成AI 神经声化 深度学习 临床应用

📋 核心要点

  1. 现有的脑机接口技术由于算法的黑箱特性，导致用户难以理解反馈，影响临床应用效果。
  2. OmniNeuro框架通过集成多种可解释性引擎，提供透明的反馈机制，帮助用户更好地理解和调节心理状态。
  3. 在PhysioNet数据集上，OmniNeuro实现了58.52%的平均准确率，且用户反馈表明可解释性增强了心理调节能力。

📝 摘要（中文）

尽管深度学习提高了脑机接口（BCI）的解码准确性，但由于算法的“黑箱”特性，临床应用受到阻碍，导致用户挫败感和神经可塑性结果不佳。本文提出OmniNeuro，一个新颖的人机交互框架，将BCI从无声解码器转变为透明的反馈伙伴。OmniNeuro集成了三种可解释性引擎：物理（能量）、混沌（分形复杂性）和量子启发的不确定性建模。这些指标驱动实时神经声化和生成AI临床报告。在PhysioNet数据集上进行评估（样本量为109），系统实现了58.52%的平均准确率，定性初步研究（样本量为3）确认可解释反馈帮助用户调节心理努力，减少“试错”阶段。OmniNeuro是解码器无关的，为任何先进架构提供了重要的可解释性层。

🔬 方法详解

问题定义：论文要解决的具体问题是脑机接口（BCI）技术的可解释性不足，现有方法往往被视为黑箱，导致用户在使用过程中感到困惑和挫败。

核心思路：论文提出的核心解决思路是通过OmniNeuro框架集成多种可解释性引擎，使BCI能够提供透明的反馈，帮助用户理解其脑电活动与反馈之间的关系。

技术框架：OmniNeuro框架包括三个主要模块：物理引擎（基于能量）、混沌引擎（基于分形复杂性）和量子启发的不确定性建模。这些模块共同驱动实时的神经声化和生成AI临床报告。

关键创新：最重要的技术创新点在于将多种可解释性引擎结合在一起，形成一个解码器无关的可解释性层，这与现有方法的单一解读方式形成了本质区别。

关键设计：在设计中，采用了多种参数设置和损失函数，以确保各个引擎的有效性和兼容性，同时优化了网络结构以支持实时反馈的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PhysioNet数据集上，OmniNeuro系统实现了58.52%的平均准确率，且定性研究表明，用户在使用可解释反馈后，能够更有效地调节心理努力，显著减少了试错阶段的时间和精力消耗。

🎯 应用场景

该研究的潜在应用领域包括医疗康复、心理治疗和人机交互等。通过提供可解释的BCI反馈，用户能够更好地理解自身的脑电活动，从而在治疗和训练中实现更高的效果。未来，OmniNeuro可能在个性化医疗和智能辅助设备中发挥重要作用。

📄 摘要（原文）

While Deep Learning has improved Brain-Computer Interface (BCI) decoding accuracy, clinical adoption is hindered by the "Black Box" nature of these algorithms, leading to user frustration and poor neuroplasticity outcomes. We propose OmniNeuro, a novel HCI framework that transforms the BCI from a silent decoder into a transparent feedback partner. OmniNeuro integrates three interpretability engines: (1) Physics (Energy), (2) Chaos (Fractal Complexity), and (3) Quantum-Inspired uncertainty modeling. These metrics drive real-time Neuro-Sonification and Generative AI Clinical Reports. Evaluated on the PhysioNet dataset ($N=109$), the system achieved a mean accuracy of 58.52%, with qualitative pilot studies ($N=3$) confirming that explainable feedback helps users regulate mental effort and reduces the "trial-and-error" phase. OmniNeuro is decoder-agnostic, acting as an essential interpretability layer for any state-of-the-art architecture.