Modeling Spatiotemporal Neural Frames for High Resolution Brain Dynamic

📄 arXiv: 2603.24176v1 📥 PDF

作者: Wanying Qu, Jianxiong Gao, Wei Wang, Yanwei Fu

分类: eess.IV, cs.CV, q-bio.NC

发布日期: 2026-03-25

备注: CVPR 2026

💡 一句话要点

提出基于脑电信号条件下的时空神经帧建模方法，用于高分辨率脑动态功能磁共振成像重建。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 功能磁共振成像 脑电图 多模态融合 神经影像 脑动态 时空建模 序列重建

📋 核心要点

  1. 现有fMRI采集成本高昂，限制了其大规模应用，同时真实fMRI数据存在采样不规则问题，影响重建质量。
  2. 论文提出一种基于脑电信号（EEG）条件下的框架，重建高分辨率动态fMRI，利用EEG提供的时间信息增强fMRI重建。
  3. 实验表明，该方法在CineBrain数据集上实现了优越的体素级重建质量和鲁棒的时间一致性，并支持下游视觉解码任务。

📝 摘要（中文）

捕捉动态时空神经活动对于理解大规模脑机制至关重要。功能磁共振成像(fMRI)提供高分辨率的皮层表征，为刻画精细的脑活动模式奠定了坚实的基础。然而，fMRI的高采集成本限制了其大规模应用，因此高质量的fMRI重建至关重要。脑电图(EEG)提供毫秒级的时间线索，可以补充fMRI。利用这种互补性，我们提出了一个基于EEG条件的框架，用于重建动态fMRI，将其作为连续的神经序列，在皮层顶点水平上具有高空间保真度和强时间一致性。为了解决真实fMRI采集中常见的采样不规则问题，我们引入了零空间中间帧重建，从而能够对任意中间帧进行测量一致的补全，并提高序列的连续性和实际适用性。在CineBrain数据集上的实验表明，该方法在全脑和功能特定区域都具有优越的体素级重建质量和鲁棒的时间一致性。重建的fMRI还保留了重要的功能信息，支持下游的视觉解码任务。这项工作为从EEG估计高分辨率fMRI动态提供了一条新途径，并推动了多模态神经影像学朝着更动态的脑活动建模发展。

🔬 方法详解

问题定义：论文旨在解决fMRI重建问题，具体来说，是在低成本的脑电信号（EEG）辅助下，重建高质量、高分辨率、时间连续的动态fMRI。现有方法通常难以兼顾空间分辨率、时间一致性和实际应用中的采样不规则问题。

核心思路：论文的核心思路是利用EEG提供的时间信息来指导fMRI的重建过程。EEG具有高时间分辨率，可以弥补fMRI在时间分辨率上的不足。通过将EEG作为条件输入，模型可以学习到EEG和fMRI之间的映射关系，从而更好地重建fMRI序列。此外，引入零空间中间帧重建来解决采样不规则问题，保证重建序列的连续性。

技术框架：整体框架包含以下几个主要模块：1) EEG编码器：将EEG信号编码成特征向量。2) fMRI解码器：基于EEG特征向量，重建fMRI序列。3) 零空间中间帧重建模块：用于处理采样不规则问题，生成中间帧，保证序列的连续性。整个流程是，首先将EEG信号输入EEG编码器，得到特征向量，然后将特征向量输入fMRI解码器，生成初始的fMRI序列。对于采样不规则的fMRI数据，使用零空间中间帧重建模块生成中间帧，最终得到完整、连续的fMRI序列。

关键创新：论文的关键创新在于：1) 提出了一个基于EEG条件的fMRI重建框架，充分利用了EEG的时间信息。2) 引入了零空间中间帧重建模块，解决了实际fMRI数据中常见的采样不规则问题。3) 将fMRI重建问题建模成连续神经序列的生成问题，保证了重建序列的时间一致性。

关键设计：论文的关键设计包括：1) EEG编码器和fMRI解码器的网络结构，具体采用了何种网络结构（例如，卷积神经网络、循环神经网络等）以及参数设置未知。2) 零空间中间帧重建模块的具体实现方式未知。3) 损失函数的设计，可能包括重建损失、时间一致性损失等，具体形式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在CineBrain数据集上取得了显著的性能提升，在体素级重建质量和时间一致性方面均优于现有方法。具体性能数据和对比基线未知，但论文强调了其在全脑和功能特定区域的优越性，并验证了重建的fMRI能够支持下游的视觉解码任务。

🎯 应用场景

该研究成果可应用于神经科学研究，例如，研究不同认知任务下的大脑动态活动模式。此外，该方法还可以用于临床诊断，例如，通过分析脑电信号和重建的fMRI图像，辅助诊断神经系统疾病。未来，该技术有望应用于脑机接口领域，实现更精确的脑活动控制。

📄 摘要（原文）

Capturing dynamic spatiotemporal neural activity is essential for understanding large-scale brain mechanisms. Functional magnetic resonance imaging (fMRI) provides high-resolution cortical representations that form a strong basis for characterizing fine-grained brain activity patterns. The high acquisition cost of fMRI limits large-scale applications, therefore making high-quality fMRI reconstruction a crucial task. Electroencephalography (EEG) offers millisecond-level temporal cues that complement fMRI. Leveraging this complementarity, we present an EEG-conditioned framework for reconstructing dynamic fMRI as continuous neural sequences with high spatial fidelity and strong temporal coherence at the cortical-vertex level. To address sampling irregularities common in real fMRI acquisitions, we incorporate a null-space intermediate-frame reconstruction, enabling measurement-consistent completion of arbitrary intermediate frames and improving sequence continuity and practical applicability. Experiments on the CineBrain dataset demonstrate superior voxel-wise reconstruction quality and robust temporal consistency across whole-brain and functionally specific regions. The reconstructed fMRI also preserves essential functional information, supporting downstream visual decoding tasks. This work provides a new pathway for estimating high-resolution fMRI dynamics from EEG and advances multimodal neuroimaging toward more dynamic brain activity modeling.