NLP4Neuro: Sequence-to-sequence learning for neural population decoding

📄 arXiv: 2507.02264v1 📥 PDF

作者: Jacob J. Morra, Kaitlyn E. Fouke, Kexin Hang, Zichen He, Owen Traubert, Timothy W. Dunn, Eva A. Naumann

分类: q-bio.NC, cs.LG

发布日期: 2025-07-03

备注: 17 pages, 6 figures

💡 一句话要点

NLP4Neuro：利用序列到序列学习的LLM进行神经群体解码，提升行为预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经解码 大型语言模型 序列到序列学习 钙成像 斑马鱼

📋 核心要点

  1. 现有神经解码方法难以处理大规模、高密度连接的哺乳动物大脑中的行为计算机制。
  2. NLP4Neuro利用预训练的LLM进行序列到序列学习，将神经活动转化为行为预测，提升解码性能。
  3. 实验表明，预训练权重和混合专家模型DeepSeek Coder-7b显著提升了解码精度和可解释性。

📝 摘要（中文）

本文提出了一种名为NLP4Neuro的方法，系统性地评估了现成的LLM在大脑范围内的神经解码能力。该方法利用LLM解码幼年斑马鱼在视觉运动刺激下的钙成像和行为记录。研究发现，使用从文本自然语言数据中预训练的权重可以提高LLM的神经解码性能。此外，一种混合专家LLM，DeepSeek Coder-7b，显著提高了行为解码的准确性，能够预测长时间范围内的尾部运动，并提供了在解剖学上一致且高度可解释的神经元显著性读数。NLP4Neuro证明了LLM在指导全脑神经回路解析方面具有强大的能力。

🔬 方法详解

问题定义：论文旨在解决如何从大规模神经群体活动中准确解码行为的问题。现有的神经解码方法在处理大脑范围内的复杂神经活动时面临挑战，尤其是在理解神经元之间的相互作用和长时间尺度上的行为预测方面存在不足。

核心思路：论文的核心思路是利用在自然语言处理领域表现出色的LLM进行神经解码。LLM通过学习神经活动序列与行为序列之间的映射关系，实现从神经活动到行为的预测。这种方法借鉴了LLM在处理序列数据方面的优势，并利用预训练的知识来提高解码的准确性和泛化能力。

技术框架：NLP4Neuro框架主要包括数据预处理、模型训练和解码三个阶段。首先，对钙成像和行为记录数据进行预处理，提取神经活动和行为特征。然后，使用LLM（如DeepSeek Coder-7b）进行训练，学习神经活动序列到行为序列的映射。最后，利用训练好的LLM对新的神经活动数据进行解码，预测相应的行为。

关键创新：该论文的关键创新在于将LLM应用于大脑范围内的神经解码，并验证了预训练权重和混合专家模型在提高解码性能方面的有效性。此外，该研究还提供了对神经元显著性的可解释性分析，有助于理解神经回路的功能。

关键设计：论文使用了DeepSeek Coder-7b作为主要的LLM模型，该模型是一种混合专家模型，具有强大的序列建模能力。在训练过程中，使用了合适的损失函数来优化模型参数，并采用了适当的正则化方法来防止过拟合。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用预训练权重的LLM能够显著提高神经解码的准确性。特别是，DeepSeek Coder-7b模型在行为解码方面表现出色，能够预测长时间范围内的尾部运动，并提供了在解剖学上一致且高度可解释的神经元显著性读数。具体性能提升幅度在论文中进行了详细量化（未知）。

🎯 应用场景

该研究成果可应用于神经科学研究，例如理解大脑如何控制行为、开发新型脑机接口等。通过利用LLM强大的解码能力，可以更深入地了解神经回路的功能和机制，为神经系统疾病的诊断和治疗提供新的思路。

📄 摘要（原文）

Delineating how animal behavior arises from neural activity is a foundational goal of neuroscience. However, as the computations underlying behavior unfold in networks of thousands of individual neurons across the entire brain, this presents challenges for investigating neural roles and computational mechanisms in large, densely wired mammalian brains during behavior. Transformers, the backbones of modern large language models (LLMs), have become powerful tools for neural decoding from smaller neural populations. These modern LLMs have benefited from extensive pre-training, and their sequence-to-sequence learning has been shown to generalize to novel tasks and data modalities, which may also confer advantages for neural decoding from larger, brain-wide activity recordings. Here, we present a systematic evaluation of off-the-shelf LLMs to decode behavior from brain-wide populations, termed NLP4Neuro, which we used to test LLMs on simultaneous calcium imaging and behavior recordings in larval zebrafish exposed to visual motion stimuli. Through NLP4Neuro, we found that LLMs become better at neural decoding when they use pre-trained weights learned from textual natural language data. Moreover, we found that a recent mixture-of-experts LLM, DeepSeek Coder-7b, significantly improved behavioral decoding accuracy, predicted tail movements over long timescales, and provided anatomically consistent highly interpretable readouts of neuron salience. NLP4Neuro demonstrates that LLMs are highly capable of informing brain-wide neural circuit dissection.