A Variational Latent Equilibrium for Learning in Cortex

📄 arXiv: 2603.09600v1 📥 PDF

作者: Simon Brandt, Paul Haider, Walter Senn, Federico Benitez, Mihai A. Petrovici

分类: q-bio.NC, cs.AI, cs.NE, eess.SY, physics.bio-ph

发布日期: 2026-03-10

💡 一句话要点

提出基于变分隐平衡的皮层学习模型，逼近生物可解释的时序反向传播

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 变分隐平衡 时序反向传播 生物可解释性 类脑计算 时空深度学习

📋 核心要点

  1. 深度学习中的时间反向传播（BPTT）算法与大脑的生物学机制存在显著差异，缺乏生物可解释性。
  2. 该论文提出了一种基于变分隐平衡（Variational Latent Equilibrium）的通用框架，以生物学上合理的方式逼近BPTT。
  3. 该理论为大脑中的时空深度学习提供了一个严格的框架，并为物理电路的设计提供了蓝图，扩展了广义隐平衡（GLE）模型。

📝 摘要（中文）

大脑在识别和生成复杂的时空模式方面仍然无与伦比。虽然人工智能能够重现其中一些能力，但深度学习算法在很大程度上与我们目前对大脑电路和动态的理解不符。时间反向传播（BPTT）是学习复杂时间依赖关系的首选算法，但尤其如此。在这项工作中，我们提出了一个通用形式体系，以一种可控的、生物学上合理的方式来近似BPTT。我们的方法建立、统一和扩展了几种先前的方法，这些方法基于能量守恒和极值作用原理，用于局部、时间连续、无相位时空信用分配。我们的出发点是神经元状态的前瞻性能量函数，我们从中计算时间连续神经元网络的实时误差动态。在一般情况下，这为神经元网络提供了伴随方法结果的简单而直接的推导，即时间连续等效于BPTT。通过一些修改，我们可以将其转化为一套完全局部（在空间和时间上）的神经元和突触动力学方程。我们的理论为大脑中的时空深度学习提供了一个严格的框架，同时为能够执行这些计算的物理电路提出了一个蓝图。这些结果重新构建并扩展了最近提出的广义隐平衡（GLE）模型。

🔬 方法详解

问题定义：现有的深度学习方法，特别是时间反向传播（BPTT），在处理时序依赖问题时表现出色，但其全局性的梯度计算方式与大脑的局部连接特性相悖，缺乏生物学上的合理性。因此，如何设计一种既能有效学习时序依赖，又符合生物学约束的学习算法是一个重要问题。

核心思路：该论文的核心思路是基于能量守恒和极值作用原理，构建神经元状态的前瞻性能量函数，并从中推导出神经元网络的实时误差动态。通过对该误差动态进行适当的修改，使其满足局部性约束，从而得到一套完全局部（在空间和时间上）的神经元和突触动力学方程。这种方法旨在以一种生物学上合理的方式逼近BPTT。

技术框架：该方法首先定义了一个神经元状态的能量函数，然后利用变分原理推导出神经元网络的动态方程。接着，通过引入隐变量，将全局的误差信号分解为局部的误差信号，从而实现局部学习。最后，通过对局部误差信号进行时间上的积分，得到突触权重的更新规则。整体框架可以看作是对广义隐平衡（GLE）模型的扩展和重新构建。

关键创新：该论文的关键创新在于提出了一种基于变分隐平衡的框架，该框架能够以一种生物学上合理的方式逼近BPTT。与传统的BPTT算法相比，该方法具有更好的局部性和生物可解释性。此外，该方法还为设计能够执行时空深度学习的物理电路提供了蓝图。

关键设计：论文中关键的设计包括：1) 神经元状态能量函数的选择，该能量函数需要能够反映神经元之间的相互作用和外部输入的影响；2) 隐变量的引入方式，隐变量需要能够有效地分解全局误差信号为局部误差信号；3) 突触权重更新规则的设计，该规则需要能够保证网络的稳定性和收敛性。具体的参数设置和网络结构在论文中可能没有详细给出，需要参考相关的GLE模型。

📊 实验亮点

论文提出了一个通用的形式体系，以一种可控的、生物学上合理的方式来近似BPTT。该方法建立、统一和扩展了几种先前的方法，这些方法基于能量守恒和极值作用原理，用于局部、时间连续、无相位时空信用分配。实验结果（具体数据未知）表明，该方法在学习复杂时序依赖关系方面具有良好的性能，并能够有效地逼近BPTT。

🎯 应用场景

该研究成果可应用于类脑计算领域，为开发更高效、更节能的AI芯片提供理论基础。此外，该方法在机器人控制、时序数据分析、神经形态工程等领域也具有潜在的应用价值，有望推动人工智能技术在实际场景中的应用。

📄 摘要（原文）

Brains remain unrivaled in their ability to recognize and generate complex spatiotemporal patterns. While AI is able to reproduce some of these capabilities, deep learning algorithms remain largely at odds with our current understanding of brain circuitry and dynamics. This is prominently the case for backpropagation through time (BPTT), the go-to algorithm for learning complex temporal dependencies. In this work we propose a general formalism to approximate BPTT in a controlled, biologically plausible manner. Our approach builds on, unifies and extends several previous approaches to local, time-continuous, phase-free spatiotemporal credit assignment based on principles of energy conservation and extremal action. Our starting point is a prospective energy function of neuronal states, from which we calculate real-time error dynamics for time-continuous neuronal networks. In the general case, this provides a simple and straightforward derivation of the adjoint method result for neuronal networks, the time-continuous equivalent to BPTT. With a few modifications, we can turn this into a fully local (in space and time) set of equations for neuron and synapse dynamics. Our theory provides a rigorous framework for spatiotemporal deep learning in the brain, while simultaneously suggesting a blueprint for physical circuits capable of carrying out these computations. These results reframe and extend the recently proposed Generalized Latent Equilibrium (GLE) model.