SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining

📄 arXiv: 2610.03265v1 📥 PDF

作者: Dengdi Sun, Xiaoya Zhou, Xiao Wang, Wanli Lyu, Jin Tang, Bin Luo

分类: cs.LG, cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出SPEAR以解决PDE预训练中的知识干扰问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: PDE预训练 光谱解耦 专家聚合 机器学习 神经算子 模型效率 知识引导

📋 核心要点

  1. 现有的PDE基础模型在处理异质动态时，容易出现知识干扰，导致性能下降。
  2. SPEAR通过光谱解耦技术，将潜在特征分为低频和高频成分，优化了动态建模和模式学习。
  3. 在十二个PDE数据集上进行的实验表明，SPEAR在预训练和迁移学习中显著提升了性能，且减少了专家数量。

📝 摘要（中文）

大规模预训练提升了神经算子的泛化能力，但现有的PDE基础模型在处理异质动态时仍面临挑战，尤其是共享表示可能导致知识干扰，而专家混合模型（MoE）架构则存在专家冗余问题。为此，本文提出了SPEAR，一种光谱解耦的MoE神经算子，结合知识引导的专家聚合策略，旨在提升PDE的预训练效果。SPEAR通过将潜在特征解耦为低频和高频成分，实现可转移动态的共享建模和PDE特定模式的专门学习。实验结果表明，SPEAR在十二个PDE数据集及多个下游基准测试中表现优异，聚合策略还将专家数量减少了50%，同时保持或提高了预测准确性。

🔬 方法详解

问题定义：本文旨在解决现有PDE基础模型在处理异质动态时的知识干扰问题，以及MoE架构中专家冗余导致的效率低下。

核心思路：SPEAR通过光谱解耦将潜在特征分为低频和高频成分，从而实现共享建模与专门学习的平衡，同时采用知识引导的专家聚合策略来减少冗余。

技术框架：SPEAR的整体架构包括特征解耦模块、专家聚合模块和动态学习模块。特征解耦模块负责将输入特征分解为低频和高频部分，专家聚合模块则根据知识相似性进行专家的选择与整合。

关键创新：SPEAR的主要创新在于光谱解耦的设计和知识引导的专家聚合策略，这与传统的MoE架构相比，显著减少了冗余并提升了模型的泛化能力。

关键设计：在模型设计中，采用了特定的损失函数来平衡低频和高频成分的学习，同时通过数据集特定的知识来指导专家的选择，确保了模型的高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SPEAR在十二个PDE数据集上表现出色，预训练和迁移学习的性能均显著优于现有基线。特别是，聚合策略使得专家数量减少了50%，而预测准确性保持不变或有所提升，展示了模型的高效性与泛化能力。

🎯 应用场景

该研究在数值模拟、物理建模和工程优化等领域具有广泛的应用潜力。通过提升PDE模型的预训练效果，SPEAR能够帮助研究人员更好地理解复杂系统的动态行为，并在实际工程中实现更高效的解决方案。未来，SPEAR的技术框架也可能被应用于其他类型的机器学习任务中，推动相关领域的发展。

📄 摘要（原文）

Large-scale pre-training has improved the generalization of neural operators across diverse PDEs. However, existing PDE foundation models still struggle with heterogeneous dynamics, where shared representations may cause knowledge interference, while mixture-of-experts (MoE) architectures suffer from increasing expert redundancy. We propose SPEAR, a spectral-disentangled MoE neural operator with knowledge-guided expert aggregation for large-scale PDE pre-training. SPEAR decouples latent features into low- and high-frequency components, enabling shared modeling of transferable dynamics and specialized learning of PDE-specific patterns. To address expert redundancy, we design a knowledge-guided expert aggregation strategy that measures expert similarity from dataset-specific learned knowledge and routing preferences, enabling the identification and consolidation of similar experts. Experiments on twelve PDE datasets and multiple downstream benchmarks demonstrate superior performance in pre-training, fine-tuning, and transfer learning. Furthermore, our aggregation strategy reduces the number of experts by 50\% while maintaining or improving prediction accuracy, achieving a balance between model efficiency and generalization for PDE foundation models.