SCNO: Spiking Compositional Neural Operator -- Towards a Neuromorphic Foundation Model for Nuclear PDE Solving

📄 arXiv: 2604.11625v1 📥 PDF

作者: Samrendra Roy, Souvik Chakraborty, Rizwan-uddin, Syed Bahauddin Alam

分类: cs.LG, cs.AI

发布日期: 2026-04-13

💡 一句话要点

提出SCNO：一种神经形态核偏微分方程求解基础模型，实现模块化、低功耗和零遗忘扩展。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经算子 脉冲神经网络 偏微分方程 核工程 模块化 零遗忘学习 神经形态计算

📋 核心要点

  1. 现有神经算子求解PDE时，通常是单体模型，泛化性差，且依赖高功耗GPU，难以适应新物理现象。
  2. SCNO通过组合小型脉冲神经算子块，每个块处理一个基本微分算子，并通过轻量级聚合器解决耦合PDE。
  3. 实验表明，SCNO在多个PDE族上优于单体脉冲和ANN DeepONet，参数量更少，且支持零遗忘模块化扩展。

📝 摘要（中文）

神经算子已成为偏微分方程(PDE)求解器的强大替代品，但它们通常被训练为单个PDE的单体模型，需要高能耗的GPU硬件，并且当出现新的物理现象时必须从头开始重新训练。我们引入了Spiking Compositional Neural Operator (SCNO)，这是一种结合了脉冲和传统组件的模块化架构，解决了所有这三个限制。SCNO维护一个小型脉冲神经算子块库，每个块都经过单个基本微分算子(对流、扩散、反应)的训练，并通过轻量级的输入条件聚合器组合它们来求解在块训练期间未见过的耦合PDE。一个小型校正网络学习交叉耦合残差，同时保持所有块和聚合器冻结，通过构造保持零遗忘模块化扩展。我们在包括五个耦合系统和一个核相关的单群中子扩散方程在内的八个PDE族上评估了SCNO。带有校正的SCNO在五个耦合PDE中的四个上实现了最低的相对L^2误差，优于单体脉冲DeepONet(平均超过3个种子高达62%)和标准ANN DeepONet(高达65%)，同时仅需要95K个可训练参数，而单体基线需要462K个。据我们所知，这是第一个组合脉冲神经算子，也是第一个具有内置无遗忘扩展的模块化神经形态PDE求解的概念验证。

🔬 方法详解

问题定义：现有神经算子在求解偏微分方程时，通常被训练成单体模型，针对特定PDE，泛化能力有限。当需要求解新的、耦合的PDE，或者出现新的物理现象时，需要从头开始重新训练整个模型，计算成本高昂，且无法有效利用已有的知识。此外，这些模型通常依赖于高功耗的GPU硬件，不利于部署在资源受限的场景中。

核心思路：SCNO的核心思路是将复杂的PDE求解任务分解为多个简单的、可组合的子任务，每个子任务对应一个基本的微分算子（如对流、扩散、反应）。通过训练一组小型、专门化的脉冲神经算子块来处理这些基本算子，然后通过一个轻量级的聚合器将这些块组合起来，以求解更复杂的耦合PDE。这种模块化的设计使得模型可以灵活地适应新的PDE，而无需从头开始重新训练。

技术框架：SCNO的整体架构包括三个主要模块：1) 脉冲神经算子块库：包含多个小型脉冲神经算子块，每个块都经过训练以处理一个特定的基本微分算子。2) 输入条件聚合器：一个轻量级的网络，用于根据输入条件（如PDE的系数、边界条件等）将各个脉冲神经算子块的输出组合起来。3) 校正网络：一个小型网络，用于学习交叉耦合残差，以提高模型的精度。在训练过程中，首先训练各个脉冲神经算子块，然后训练聚合器和校正网络。

关键创新：SCNO最重要的技术创新点在于其模块化的设计和脉冲神经算子的应用。模块化设计使得模型可以灵活地适应新的PDE，而无需从头开始重新训练，实现了零遗忘的模块化扩展。脉冲神经算子的应用降低了模型的计算复杂度，使其更适合在资源受限的场景中部署。此外，SCNO是第一个组合脉冲神经算子，为神经形态PDE求解提供了一个概念验证。

关键设计：SCNO的关键设计包括：1) 脉冲神经算子块的网络结构：采用了适合脉冲神经网络的结构，如脉冲卷积神经网络或脉冲循环神经网络。2) 聚合器的设计：采用了轻量级的网络结构，如全连接网络或卷积神经网络，以降低计算复杂度。3) 校正网络的损失函数：采用了L2损失函数或Huber损失函数，以提高模型的精度。4) 训练策略：采用了分阶段训练的策略，首先训练各个脉冲神经算子块，然后训练聚合器和校正网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCNO在五个耦合PDE中的四个上实现了最低的相对L^2误差，优于单体脉冲DeepONet(平均超过3个种子高达62%)和标准ANN DeepONet(高达65%)。同时，SCNO仅需要95K个可训练参数，而单体基线需要462K个。这些结果表明，SCNO在精度和效率方面都具有显著的优势。

🎯 应用场景

SCNO在核工程领域具有潜在的应用价值，例如可以用于实时模拟核反应堆中的中子扩散过程，从而提高反应堆的安全性和效率。此外，SCNO还可以应用于其他科学计算领域，如流体力学、传热学等，为这些领域提供一种高效、低功耗的PDE求解方案。SCNO的模块化设计也使其易于扩展到新的物理领域，具有广阔的应用前景。

📄 摘要（原文）

Neural operators have emerged as powerful surrogates for partial differential equation (PDE) solvers, yet they are typically trained as monolithic models for individual PDEs, require energy-intensive GPU hardware, and must be retrained from scratch when new physics emerge. We introduce the Spiking Compositional Neural Operator (SCNO), a modular architecture combining spiking and conventional components that addresses all three limitations. SCNO maintains a library of small spiking neural operator blocks, each trained on a single elementary differential operator (convection, diffusion, reaction), and composes them through a lightweight input-conditioned aggregator to solve coupled PDEs not seen during block training. A small correction network learns cross-coupling residuals while keeping all blocks and the aggregator frozen, preserving zero-forgetting modular expansion by construction. We evaluate SCNO on eight PDE families including five coupled systems and a nuclear-relevant 1-group neutron diffusion equation. SCNO with correction achieves the lowest relative $L^2$ error on four of five coupled PDEs, outperforming both a monolithic spiking DeepONet (by up to 62%, mean over 3 seeds) and a standard ANN DeepONet (by up to 65%), while requiring only 95K trainable parameters versus 462K for the monolithic baseline. To our knowledge, this is the first compositional spiking neural operator and the first proof-of-concept for modular neuromorphic PDE solving with built-in forgetting-free expansion.