NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training

📄 arXiv: 2509.26301v2 📥 PDF

作者: Suli Wang, Yangshen Deng, Zhenghua Bao, Xinyu Zhan, Yiqun Duan

分类: cs.LG, cs.HC

发布日期: 2025-09-30 (更新: 2025-10-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出NeuroTTT，通过测试时训练桥接脑电图预训练模型与下游任务的错位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 基础模型 自监督学习 测试时训练 领域自适应 脑机接口 表征学习

📋 核心要点

  1. 脑电图基础模型面临预训练目标与下游任务错位，以及跨个体数据分布差异大的挑战。
  2. NeuroTTT通过领域自监督微调和测试时训练，对齐模型表征与任务相关特征，并适应个体差异。
  3. 实验表明，NeuroTTT在多种脑机接口任务上显著提升了性能，超越了传统微调和适应方法。

📝 摘要（中文）

大规模脑电图(EEG)信号基础模型为通用脑机接口(BCI)应用提供了有希望的途径，但它们经常受到预训练目标与下游任务之间的错位以及显著的跨被试分布偏移的影响。本文通过引入一种两阶段对齐策略来解决这些挑战，该策略弥合了通用预训练和特定脑电解码任务之间的差距。首先，我们提出了NeuroTTT：一种特定领域的自监督微调范式，它使用任务相关的自监督目标来增强基础模型，将潜在表示与重要的频谱、空间和时间脑电特征对齐，而无需额外的标记数据。其次，我们在推理时结合了测试时训练(TTT)，我们执行(i)对单个未标记测试样本的自监督测试时训练和(ii)预测熵最小化(Tent)，它仅更新归一化统计量，以持续校准模型到每个新的输入。据我们所知，我们的方法是第一个在大规模脑电图基础模型中统一领域调整的自监督与测试时训练的方法，在不同的BCI任务(想象语音、压力检测、运动想象)中产生了显著提高的鲁棒性和准确性。使用CBraMod和LaBraM作为骨干，我们的方法将其性能推向了明显更高的水平。在三个不同任务上的结果表明，所提出的对齐策略实现了最先进的性能，优于传统的微调和适应方法。我们的代码可在https://github.com/wsl2000/NeuroTTT获得。

🔬 方法详解

问题定义：脑电图(EEG)基础模型在应用于特定脑机接口(BCI)任务时，由于预训练阶段的目标与下游任务的解码目标存在差异，导致模型性能下降。此外，不同个体之间的脑电信号存在显著差异，进一步加剧了模型的泛化能力问题。现有方法通常采用微调或领域自适应，但难以同时解决预训练-下游任务错位和跨个体差异问题。

核心思路：NeuroTTT的核心思路是通过两阶段对齐策略，弥合预训练模型与下游任务之间的差距。第一阶段，利用领域自监督微调，使模型学习到任务相关的脑电特征表示。第二阶段，采用测试时训练，针对每个测试样本进行自适应调整，以适应个体差异。这种方法旨在使模型既能利用预训练的通用知识，又能针对特定任务和个体进行优化。

技术框架：NeuroTTT包含两个主要阶段：领域自监督微调和测试时训练。在领域自监督微调阶段，首先利用任务相关的自监督目标函数对预训练模型进行微调，从而使模型学习到与特定脑电解码任务相关的频谱、空间和时间特征。在测试时训练阶段，针对每个测试样本，首先进行自监督测试时训练，然后采用预测熵最小化(Tent)方法，仅更新模型的归一化统计量，从而使模型能够快速适应个体差异。

关键创新：NeuroTTT的关键创新在于将领域自监督微调与测试时训练相结合，用于解决脑电图基础模型中的预训练-下游任务错位和跨个体差异问题。与传统的微调方法相比，NeuroTTT能够更好地利用未标记数据，学习到任务相关的特征表示。与传统的领域自适应方法相比，NeuroTTT能够针对每个测试样本进行自适应调整，从而更好地适应个体差异。

关键设计：在领域自监督微调阶段，选择合适的自监督目标函数至关重要，例如对比学习或掩码信号重建。在测试时训练阶段，预测熵最小化(Tent)方法通过最小化预测结果的不确定性，使模型能够更好地适应个体差异。此外，选择合适的学习率和更新策略对于测试时训练的稳定性和有效性至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuroTTT在三个不同的脑机接口任务（想象语音、压力检测、运动想象）上均取得了最先进的性能。例如，在运动想象任务上，NeuroTTT相比于传统微调方法，准确率提升了5%以上。此外，NeuroTTT能够显著提高模型的鲁棒性，降低跨个体差异带来的影响。

🎯 应用场景

NeuroTTT具有广泛的应用前景，可用于各种基于脑电信号的脑机接口系统，例如运动想象控制、情绪识别、认知负荷评估等。该方法能够提高脑电图基础模型在实际应用中的鲁棒性和准确性，从而改善用户体验。此外，NeuroTTT的框架可以推广到其他时序信号处理领域，例如心电信号分析、语音识别等。

📄 摘要（原文）

Large-scale foundation models for EEG signals offer a promising path to generalizable brain-computer interface (BCI) applications, but they often suffer from misalignment between pretraining objectives and downstream tasks, as well as significant cross-subject distribution shifts. This paper addresses these challenges by introducing a two-stage alignment strategy that bridges the gap between generic pretraining and specific EEG decoding tasks. First, we propose NeuroTTT: a domain-specific self-supervised fine-tuning paradigm that augments the foundation model with task-relevant self-supervised objectives, aligning latent representations to important spectral, spatial, and temporal EEG features without requiring additional labeled data. Second, we incorporate test-time training (TTT) at inference, we perform (i) self-supervised test-time training on individual unlabeled test samples and (ii) prediction entropy minimization (Tent), which updates only normalization statistics to continually calibrate the model to each new input on the fly. Our approach, which, to our knowledge, is the first to unify domain-tuned self-supervision with test-time training in large-scale EEG foundation models, yields substantially improved robustness and accuracy across diverse BCI tasks (imagined speech, stress detection, motor imagery). Using CBraMod and LaBraM as backbones, our method pushes their performance to a markedly higher level. Results on three diverse tasks demonstrate that the proposed alignment strategy achieves state-of-the-art performance, outperforming conventional fine-tuning and adaptation methods. Our code is available at https://github.com/wsl2000/NeuroTTT.