NeuroLens: Learning Latent Embeddings of Neural Semantics from Chronic Recordings
作者: Hanrui Lyu, Baiyuan Chen, Tianshu Tan, Matthew R. Whiteway, Maxwell D. Melin, Ji Xia, Linyang He, Bradly C. Stadie, Anne Churchland, Liam Paninski, Yizi Zhang
分类: cs.LG, q-bio.NC
发布日期: 2026-10-02
💡 一句话要点
提出NeuroLens以解决慢性神经记录中的表示塑性与记录不稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 神经科学 慢性神经记录 自监督学习 潜在表示 解码性能 时间结构 脑机接口
📋 核心要点
- 现有方法难以区分慢性神经记录中的表示塑性与记录不稳定性，限制了对神经活动的深入理解。
- NeuroLens通过自适应编码器和时间预测器，学习去噪的潜在表示，捕捉神经活动的时间结构。
- 在小鼠和人类的慢性皮层数据中，NeuroLens在解码决策和语义任务变量方面表现优越，且具有良好的泛化能力。
📝 摘要（中文）
理解神经活动如何代表高阶认知及其随时间演变的过程，一直是神经科学的核心追求。然而，现有分析工具难以区分慢性神经记录中的表示塑性与记录不稳定性。本文提出NeuroLens（神经语义的潜在嵌入），基于联合嵌入预测架构（JEPA）框架的自监督模型，从慢性神经记录中学习去噪和语义信息丰富的潜在表示。自适应编码器将变化的神经群体映射到共同的潜在空间，而时间预测器则学习支持未来潜在状态预测的结构。通过在潜在空间中进行预测，NeuroLens捕捉时间上可预测的结构，并减少对瞬态、记录特定变异性的敏感性。实验结果表明，所学表示在决策和语义任务变量的解码中显著提升。
🔬 方法详解
问题定义：本文旨在解决慢性神经记录中表示塑性与记录不稳定性难以区分的问题。现有方法在处理这些数据时，往往无法有效提取有意义的神经表示，导致解码性能受限。
核心思路：NeuroLens的核心思路是通过自监督学习，利用联合嵌入预测架构（JEPA）来学习去噪的潜在表示。自适应编码器将不同时间点的神经活动映射到一个共同的潜在空间，从而捕捉到神经活动的时间结构。
技术框架：NeuroLens的整体架构包括两个主要模块：自适应编码器和时间预测器。自适应编码器负责将变化的神经群体映射到潜在空间，而时间预测器则学习潜在状态的时间结构，以支持未来状态的预测。
关键创新：NeuroLens的主要创新在于其自适应编码器和时间预测器的结合，使得模型能够在潜在空间中进行预测，从而减少对瞬态记录变异性的敏感性。这一设计与传统方法相比，显著提高了对神经活动的解码能力。
关键设计：在模型设计中，采用了特定的损失函数来优化潜在表示的学习，同时在网络结构上，确保了编码器和预测器之间的有效信息传递。
🖼️ 关键图片
📊 实验亮点
实验结果显示，NeuroLens在解码决策和语义任务变量方面的性能显著优于现有最先进的基线，尤其在多天预训练后，模型能够快速适应未见的神经群体，且解码稳定性明显提升。
🎯 应用场景
NeuroLens的研究成果在神经科学领域具有广泛的应用潜力，能够帮助科学家更好地理解神经活动与高阶认知之间的关系。未来，该模型可用于开发更先进的脑机接口，提升对神经信号的解码能力，推动神经科学和人工智能的交叉研究。
📄 摘要（原文）
Understanding how neural activity represents higher-order cognition and how these representations evolve over time has long been a central pursuit in neuroscience. However, current analytical tools cannot easily distinguish representational plasticity from recording instability in chronic neural recordings. Here, we introduce NeuroLens (Latent Embeddings of Neural Semantics), a self-supervised model based on the Joint-Embedding Predictive Architecture (JEPA) framework that learns denoised, semantically informative latents from chronic neural recordings. An adaptive encoder maps changing neural populations into a common latent space, while a temporal predictor learns structure that supports prediction of future latent states. By predicting in latent space, NeuroLens captures temporally predictable structure and reduces sensitivity to transient, recording-specific variability. Across chronic intracortical data in mice and humans, the learned representations improve decoding of decision-making and semantic task variables. Multi-day pretraining enables generalization to future sessions, rapid few-shot adaptation to unseen neural populations, and more stable decoding over time than state-of-the-art baselines. Together, these results establish NeuroLens as a new paradigm for studying how neural representations change during learning and over long timescales.