Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data
作者: Antonis Antoniades, Yiyi Yu, Joseph Canzano, William Wang, Spencer LaVere Smith
分类: q-bio.NC, cs.LG, cs.NE
发布日期: 2023-10-31 (更新: 2024-03-15)
备注: 9 pages for main paper. 22 pages in total. 13 figures, 1 table
💡 一句话要点
提出Neuroformer以解决系统神经科学中的多模态数据分析问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态数据 生成预训练 神经科学 自回归模型 无监督学习 神经电路 行为预测
📋 核心要点
- 现有的分析工具无法有效处理系统神经科学中产生的大规模多模态数据，导致数据利用率低。
- Neuroformer通过将神经元放电数据分析重新构建为自回归时空生成问题，提供了一种新的分析框架。
- 实验结果显示，Neuroformer在模拟数据集上准确预测神经电路活动，并在少量微调后成功预测小鼠行为。
📝 摘要（中文）
随着系统神经科学实验产生的大规模多模态数据，现有分析工具面临挑战。Neuroformer是一种多模态、多任务的生成预训练变换器模型，旨在处理细胞分辨率的神经元放电数据。该模型通过自回归时空生成问题的方式进行训练，能够线性扩展特征规模，处理任意数量的模态，并适应下游任务。实验表明，Neuroformer在模拟数据集上准确预测神经电路活动，并能够推断神经电路的连接性。此外，该模型在少量微调后能够预测小鼠行为，展示了其从神经表示中直接学习的能力。联合训练神经反应与行为显著提升了模型性能，强调了其在无监督方式下关联行为与神经表示的能力。
🔬 方法详解
问题定义：本论文旨在解决系统神经科学中大规模多模态数据分析的挑战。现有方法在处理细胞分辨率的神经元放电数据时，往往无法有效提取和利用数据中的复杂信息。
核心思路：Neuroformer通过将数据分析视为自回归时空生成问题，利用生成预训练变换器的框架，能够处理多种模态并适应不同的下游任务。这样的设计使得模型能够从神经表示中直接学习，而无需大量的监督信息。
技术框架：Neuroformer的整体架构包括多个模块，首先是数据预处理模块，将多模态数据转化为适合模型输入的格式；接着是生成预训练模块，通过自回归方式进行训练；最后是下游任务适应模块，能够根据具体任务进行微调。
关键创新：Neuroformer的主要创新在于其多模态、多任务的生成预训练能力，能够在无监督的情况下关联神经反应与行为表现。这一特性使其在分析神经数据时具备更高的灵活性和准确性。
关键设计：在模型设计中，采用了适应性损失函数以优化多模态数据的学习效果，并在网络结构上引入了层次化的特征提取机制，以增强模型对复杂数据的处理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Neuroformer在模拟数据集上成功预测神经电路活动，并在少量微调后准确预测小鼠行为，展示了其在无监督学习中的强大能力。联合训练神经反应与行为的方式显著提升了模型性能，验证了其在多模态数据分析中的有效性。
🎯 应用场景
Neuroformer在系统神经科学领域具有广泛的应用潜力，能够帮助研究人员更深入地理解神经元活动与行为之间的关系。其无监督学习能力使得在缺乏标注数据的情况下，仍能有效分析神经数据，推动相关模型和假设的发展，未来可能在神经科学研究和临床应用中发挥重要作用。
📄 摘要（原文）
State-of-the-art systems neuroscience experiments yield large-scale multimodal data, and these data sets require new tools for analysis. Inspired by the success of large pretrained models in vision and language domains, we reframe the analysis of large-scale, cellular-resolution neuronal spiking data into an autoregressive spatiotemporal generation problem. Neuroformer is a multimodal, multitask generative pretrained transformer (GPT) model that is specifically designed to handle the intricacies of data in systems neuroscience. It scales linearly with feature size, can process an arbitrary number of modalities, and is adaptable to downstream tasks, such as predicting behavior. We first trained Neuroformer on simulated datasets, and found that it both accurately predicted simulated neuronal circuit activity, and also intrinsically inferred the underlying neural circuit connectivity, including direction. When pretrained to decode neural responses, the model predicted the behavior of a mouse with only few-shot fine-tuning, suggesting that the model begins learning how to do so directly from the neural representations themselves, without any explicit supervision. We used an ablation study to show that joint training on neuronal responses and behavior boosted performance, highlighting the model's ability to associate behavioral and neural representations in an unsupervised manner. These findings show that Neuroformer can analyze neural datasets and their emergent properties, informing the development of models and hypotheses associated with the brain.