SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning

📄 arXiv: 2508.10298v3 📥 PDF

作者: Weijian Mai, Jiamin Wu, Yu Zhu, Zhouheng Yao, Dongzhan Zhou, Andrew F. Luo, Qihao Zheng, Wanli Ouyang, Chunfeng Song

分类: cs.LG, cs.CV, eess.IV

发布日期: 2025-08-14 (更新: 2025-11-03)

备注: Accepted by NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

SynBrain：提出一种基于概率表示学习的视觉到fMRI合成框架，提升神经解码性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉到fMRI合成 概率表示学习 变分自编码器 神经解码 脑机接口 功能磁共振成像 生物变异性

📋 核心要点

  1. 现有视觉到fMRI的确定性方法难以同时建模生物变异性和捕捉功能一致性。
  2. SynBrain通过BrainVAE将神经表示建模为概率分布，并利用语义到神经映射器进行高保真合成。
  3. 实验表明SynBrain在视觉到fMRI编码和fMRI到图像解码方面均优于现有方法，并揭示了功能一致性。

📝 摘要（中文）

理解视觉刺激如何转化为皮层反应是计算神经科学中的一个根本性挑战。这种视觉到神经的映射本质上是一种一对多的关系，因为相同的视觉输入在试验、情境和受试者之间会可靠地引发不同的血流动力学反应。然而，现有的确定性方法难以同时建模这种生物变异性，同时捕捉编码刺激信息的潜在功能一致性。为了解决这些局限性，我们提出了SynBrain，一个生成框架，以概率和生物可解释的方式模拟从视觉语义到神经反应的转换。SynBrain引入了两个关键组件：（i）BrainVAE通过概率学习将神经表示建模为连续概率分布，同时通过视觉语义约束保持功能一致性；（ii）语义到神经映射器作为语义传输通路，将视觉语义投影到神经反应流形中，以促进高保真fMRI合成。实验结果表明，SynBrain在特定受试者的视觉到fMRI编码性能方面超越了最先进的方法。此外，SynBrain能够通过少量数据有效地适应新的受试者，并合成高质量的fMRI信号，从而有效地提高了数据受限的fMRI到图像解码性能。除此之外，SynBrain揭示了试验和受试者之间的功能一致性，合成的信号捕捉到了由生物神经变异性塑造的可解释模式。

🔬 方法详解

问题定义：论文旨在解决视觉刺激到fMRI信号合成中的生物变异性问题。现有的确定性方法无法很好地模拟这种一对多的映射关系，导致合成的fMRI信号不够真实，影响后续的神经解码任务。

核心思路：论文的核心思路是将神经表示建模为概率分布，而不是单一的确定性向量。通过引入变分自编码器（VAE），学习神经反应的潜在空间，从而捕捉生物变异性。同时，利用视觉语义信息作为约束，保证合成的fMRI信号与视觉刺激在功能上保持一致。

技术框架：SynBrain框架包含两个主要模块：BrainVAE和语义到神经映射器。BrainVAE负责学习神经表示的概率分布，输入是真实的fMRI信号，输出是潜在空间的均值和方差。语义到神经映射器则将视觉语义信息映射到神经反应流形中，作为BrainVAE的条件输入，指导fMRI信号的合成。整体流程是：首先，视觉语义信息通过语义到神经映射器，然后与从BrainVAE潜在空间采样得到的向量结合，最终生成fMRI信号。

关键创新：SynBrain的关键创新在于使用概率表示学习来建模神经反应，从而捕捉生物变异性。与现有确定性方法相比，SynBrain能够生成更真实、更具多样性的fMRI信号。此外，语义到神经映射器的引入，保证了合成信号与视觉刺激之间的功能一致性。

关键设计：BrainVAE使用变分自编码器结构，损失函数包括重构损失和KL散度损失，用于学习神经表示的潜在空间。语义到神经映射器可以使用多层感知机或卷积神经网络等结构，将视觉语义信息映射到神经反应流形中。具体的网络结构和参数设置需要根据数据集和任务进行调整。论文中可能使用了特定的正则化方法或数据增强技术来提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SynBrain在视觉到fMRI编码任务上超越了现有方法，尤其是在subject-specific的设置下。此外，SynBrain在few-shot learning场景下表现出色，能够利用少量数据快速适应新的受试者。更重要的是，SynBrain合成的fMRI信号能够有效提升数据受限情况下的fMRI到图像解码性能，证明了其合成信号的质量和实用性。

🎯 应用场景

SynBrain的研究成果可应用于神经科学领域，例如：理解大脑如何处理视觉信息，研究不同视觉刺激对大脑活动的影响。此外，该方法还可以用于改善脑机接口的性能，通过合成更真实的fMRI信号来训练解码模型，从而提高解码精度。该研究还有助于开发新的神经疾病诊断和治疗方法，例如通过分析患者的fMRI信号来诊断疾病，或通过调控大脑活动来治疗疾病。

📄 摘要（原文）

Deciphering how visual stimuli are transformed into cortical responses is a fundamental challenge in computational neuroscience. This visual-to-neural mapping is inherently a one-to-many relationship, as identical visual inputs reliably evoke variable hemodynamic responses across trials, contexts, and subjects. However, existing deterministic methods struggle to simultaneously model this biological variability while capturing the underlying functional consistency that encodes stimulus information. To address these limitations, we propose SynBrain, a generative framework that simulates the transformation from visual semantics to neural responses in a probabilistic and biologically interpretable manner. SynBrain introduces two key components: (i) BrainVAE models neural representations as continuous probability distributions via probabilistic learning while maintaining functional consistency through visual semantic constraints; (ii) A Semantic-to-Neural Mapper acts as a semantic transmission pathway, projecting visual semantics into the neural response manifold to facilitate high-fidelity fMRI synthesis. Experimental results demonstrate that SynBrain surpasses state-of-the-art methods in subject-specific visual-to-fMRI encoding performance. Furthermore, SynBrain adapts efficiently to new subjects with few-shot data and synthesizes high-quality fMRI signals that are effective in improving data-limited fMRI-to-image decoding performance. Beyond that, SynBrain reveals functional consistency across trials and subjects, with synthesized signals capturing interpretable patterns shaped by biological neural variability. Our code is available at https://github.com/MichaelMaiii/SynBrain.