NeuroRVQ: Multi-Scale EEG Tokenization for Generative Large Brainwave Models

📄 arXiv: 2510.13068v2 📥 PDF

作者: Konstantinos Barmpas, Na Lee, Alexandros Koliousis, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Stefanos Zafeiriou

分类: cs.LG, cs.AI, cs.HC

发布日期: 2025-10-15 (更新: 2025-12-01)

💡 一句话要点

提出NeuroRVQ以解决EEG信号重建精度不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 信号重建 多尺度特征提取 向量量化 生成建模 神经解码 生物信号集成

📋 核心要点

  1. 现有EEG基础模型在信号标记模块上存在不足，无法有效保留高频动态，影响重建精度。
  2. NeuroRVQ通过多尺度特征提取和层次残差向量量化，设计了一个高效的EEG信号标记器。
  3. 实验结果显示，NeuroRVQ在重建误差上显著降低，并在多项下游任务中表现优于现有模型。

📝 摘要（中文）

脑电图（EEG）捕捉多种时间和频谱尺度的神经活动，虽然信号丰富，但在表示学习中复杂度较高。近期，基于EEG的基础模型在预测掩蔽信号标记方面展现出良好前景，但现有的信号标记模块无法有效保留高频动态，限制了其重建EEG信号的能力。为此，本文提出了NeuroRVQ，一个基于代码本的标记器，集成了多尺度特征提取模块、层次残差向量量化（RVQ）代码本和EEG信号相位及幅度感知损失函数。这一设计不仅实现了高效的EEG压缩，还支持各频段的准确重建，进而提升了生成掩蔽建模的鲁棒性。实验证明，NeuroRVQ在重建误差上表现优异，并在多项下游任务中超越了现有的基础模型。

🔬 方法详解

问题定义：本文旨在解决现有EEG信号标记模块无法有效保留高频动态的问题，导致重建精度不足。现有方法在信号重建时常常忽略了EEG信号的复杂性和多样性。

核心思路：NeuroRVQ的核心思路是通过引入多尺度特征提取和层次残差向量量化来提升EEG信号的表示能力，从而实现高保真度的信号重建。这样的设计能够更全面地捕捉EEG信号的频谱信息。

技术框架：NeuroRVQ的整体架构包括三个主要模块：多尺度特征提取模块、层次残差向量量化代码本和EEG信号相位及幅度感知损失函数。多尺度特征提取模块负责从不同频段提取特征，RVQ代码本用于高分辨率编码，而损失函数则优化训练过程。

关键创新：NeuroRVQ的主要创新在于其代码本基础的标记器设计，能够有效捕捉EEG信号的高频动态，与现有方法相比，显著提升了重建精度和信号表示能力。

关键设计：在设计中，采用了层次残差向量量化技术，确保高分辨率编码；同时，损失函数考虑了信号的相位和幅度信息，优化了训练效果，提升了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuroRVQ在重建误差上显著降低，具体数值未提供，但在多项下游任务中超越了现有的基础模型，展示了其在EEG信号处理中的优越性能。

🎯 应用场景

NeuroRVQ的研究成果在神经解码、生成建模和多模态生物信号集成等领域具有广泛的应用潜力。其高效的EEG信号重建能力可以为脑机接口、神经科学研究和临床诊断提供更准确的工具，推动相关技术的发展与应用。

📄 摘要（原文）

Electroencephalography (EEG) captures neural activity across multiple temporal and spectral scales, yielding signals that are rich but complex for representation learning. Recently, EEG foundation models trained to predict masked signal-tokens have shown promise for learning generalizable representations. However, their performance is hindered by their signal tokenization modules. Existing neural tokenizers fail to preserve high-frequency dynamics, limiting their ability to reconstruct EEG signals with high fidelity. We introduce NeuroRVQ, a scalable Large Brainwave Model (LBM) centered on a codebook-based tokenizer. Our tokenizer integrates: (i) multi-scale feature extraction modules that capture the full frequency neural spectrum; (ii) hierarchical residual vector quantization (RVQ) codebooks for high-resolution encoding; and, (iii) an EEG signal phase- and amplitude-aware loss function for efficient training. This design enables efficient EEG compression while supporting accurate reconstruction across all frequency bands, leading to robust generative masked modeling. Our empirical results demonstrate that NeuroRVQ achieves lower reconstruction error and outperforms existing LBMs on a variety of downstream tasks. More broadly, NeuroRVQ tokenizer establishes a strong prior for codebook-based general-purpose brainwave models, enabling advances in neural decoding, generative modeling and multimodal biosignal integration.