Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens
作者: Sangyoon Bae, Jiook Cha
分类: cs.LG
发布日期: 2026-10-02
备注: 10 pages, 3 figures
💡 一句话要点
提出基于状态的标记化方法以解决神经数据泛化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 神经数据 标记化 群体活动 跨会话泛化 脑机接口 电生理学 行为解码
📋 核心要点
- 现有的神经基础模型在处理新会话时无法有效泛化，导致解码性能低下。
- 提出的状态标记化（TWS）方法通过群体活动的状态来进行标记化，避免了对单个神经元或会话的嵌入。
- 在国际脑实验室的实验中，TWS在跨会话解码运动方向时表现出色，显著提高了性能。
📝 摘要（中文）
本研究探讨了在每次实验中记录不同神经元的外部电生理数据时，现有神经基础模型无法有效泛化到新会话的问题。为了解决这一问题，提出了一种新的标记化方法——状态标记化（TWS），该方法利用群体活动作为共享单元，将每次实验分段并将每个状态转化为群体几何的标记。实验结果表明，TWS在不同会话中能够有效解码运动信息，且在跨物种转移中表现出色，显著优于传统的基于神经元的模型。
🔬 方法详解
问题定义：本研究旨在解决现有神经基础模型在处理新会话时的泛化能力不足的问题。现有方法依赖于每个神经元和会话的嵌入，导致在新会话中无法有效解码。
核心思路：论文提出的状态标记化（TWS）方法利用群体活动作为共享的标记单元，通过将每次实验分段并将状态转化为群体几何的标记，从而实现跨会话的有效解码。
技术框架：TWS方法的整体流程包括：首先对实验进行分段，识别出任务事件；然后在每个状态下生成群体几何标记；最后利用这些标记进行解码。
关键创新：TWS的最大创新在于不依赖于单个神经元的嵌入，而是通过群体状态进行标记化，显著提高了跨会话的解码能力。
关键设计：在模型设计中，TWS采用了线性探测器进行跨物种转移，且在训练过程中保持了对小鼠数据的冻结状态，确保了模型的泛化能力。实验中，TWS在运动方向解码上取得了0.23的Matthews相关系数，远超基于神经元的模型。
🖼️ 关键图片
📊 实验亮点
在实验中，TWS方法在国际脑实验室的会话中成功解码运动信息，尤其是在事件边界处，表现出色。与传统的基于神经元的模型相比，TWS在运动方向解码上实现了0.23的Matthews相关系数，而后者仅为0.01，显示出显著的性能提升。
🎯 应用场景
该研究的成果在神经科学和脑机接口等领域具有广泛的应用潜力。通过提高神经数据的泛化能力，TWS方法可以帮助研究人员更好地理解神经活动与行为之间的关系，并推动脑机接口技术的发展，使其在不同物种和实验条件下均能有效工作。
📄 摘要（原文）
Extracellular electrophysiology records a different set of neurons in every session. Neural foundation models embed each neuron and each session into their tokens, so every new session is an input they have never seen, and they fail to generalize to it. A tokenizer for new sessions needs a unit that every session shares and that carries behavior. Population activity offers such a unit. It evolves on a low-dimensional manifold that persists across neuronal turnover and across animals once sessions are aligned. This manifold changes regime at task events such as stimulus onset and movement onset. Within each regime the population occupies a state, the part of the manifold it spans between two events, and each state carries its own behavioral meaning. We propose Tokenization with States (TWS), which segments each trial, one repetition of the task, at these events and converts every state into tokens of population geometry, with no neuron or session embedding. On held-out International Brain Laboratory (IBL) sessions, TWS decodes movement even from regime boundaries that carry no information about the target, while a per-neuron foundation model pretrained on those sessions decodes at chance. Frozen after training on mice alone, TWS transfers to macaques and Utah arrays with only a linear probe. On reach direction, a target that its boundaries do not define, it achieves a Matthews correlation of 0.23, where the event time alone achieves $0.01$. For cross-session generalization, the token matters more than the model on top.