Evolutionary Algorithm-Guided LLMs for Physics-Informed Neural Network Design

📄 arXiv: 2607.15560 📥 PDF

作者: Xu Yang, Mingyang Yu, Jing Xu, Keqian Li

分类: cs.NE, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出进化算法引导的LLMs以优化物理信息神经网络设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理信息神经网络 进化算法 大型语言模型 优化设计 机器学习

📋 核心要点

  1. 现有的PINNs方法在架构和优化选择上缺乏有效的经验积累，导致性能不稳定。
  2. 本文提出了一种闭环进化算法，通过引导LLM生成PINN配置，利用训练结果优化后续选择。
  3. 实验表明，最佳配置在最后一代出现，均方误差显著降低，验证了方法的有效性和可行性。

📝 摘要（中文）

物理信息神经网络（PINNs）对架构、激活函数、损失加权、协同位置、优化和约束执行的选择极为敏感。大型语言模型（LLMs）能够提出这些选择，但独立建议无法积累之前训练的PINNs经验。本文提出了一种闭环进化算法，指导LLM生成完整、可执行的PINN配置，通过测量训练结果来决定后续搜索决策。该算法维护评估种群和谱系，应用父代条件变异和交叉，保留精英和多样化解决方案，拒绝有效重复，并将父代相对成功与失败转化为供LLM使用的下一代上下文。实验结果表明，该方法在一维多尺度波动方程上有效，最佳配置在最后一代出现，均方误差相较初始种群降低了2.97%和95.38%。

🔬 方法详解

问题定义：本文旨在解决物理信息神经网络（PINNs）在架构和优化选择上的敏感性和不稳定性，现有方法无法有效积累经验，导致性能波动。

核心思路：提出一种闭环进化算法，通过引导大型语言模型（LLMs）生成完整的PINN配置，利用训练结果反馈优化后续选择，从而提高设计效率和效果。

技术框架：整体架构包括评估种群的维护、父代条件变异与交叉、精英与多样化解决方案的保留、有效重复的拒绝，以及将成功与失败转化为下一代上下文的过程。

关键创新：最重要的创新在于将进化算法与LLMs结合，形成闭环反馈机制，使得每一代的配置都能基于前一代的训练结果进行优化，这一方法在PINN设计中具有独特性。

关键设计：在参数设置上，算法维护一个评估种群，采用父代条件变异和交叉策略，确保多样性和精英保留，同时直接在优化器步骤预算下执行每个配置，确保训练过程的高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在一维多尺度波动方程的两次独立十代运行中，最佳配置在最后一代出现，均方误差相较初始种群分别降低了2.97%和95.38%。该方法有效验证了残差连接和深度增加的组合策略。

🎯 应用场景

该研究的潜在应用领域包括科学计算、工程模拟和复杂系统建模等。通过优化PINN设计，能够提高物理问题求解的效率和准确性，未来可能在气候建模、流体动力学等领域产生深远影响。

📄 摘要（原文）

Physics-informed neural networks (PINNs) are unusually sensitive to interacting choices of architecture, activation, loss weighting, collocation, optimization, and constraint enforcement. Large language models (LLMs) can propose these choices, but independent recommendations do not accumulate experience from previously trained PINNs. We propose a closed-loop evolutionary algorithm that guides an LLM to generate complete, executable PINN configurations across generations, using measured training outcomes to determine subsequent search decisions. The algorithm maintains an evaluated population and lineage, applies parent-conditioned mutation and crossover, preserves elite and diverse solutions, rejects effective duplicates, and converts parent-relative successes and failures into the next-generation context supplied to the LLM. Every proposed configuration is executed directly under an exact optimizer-step budget. On a one-dimensional multiscale wave equation, two independent ten-generation runs trained 60 PINNs for 600,000 optimizer steps. In both runs, the best configuration appeared in the final generation, with best mean-squared error reduced by 2.97\% and 95.38\% relative to the initial population. The stronger run validated residual connections and increased depth on separate branches, combined them in a later generation, and then refined width and collocation density. It also revealed that low solution error can coexist with a high PDE residual. These results demonstrate the feasibility of evolutionary-algorithm-guided LLMs for PINN design on a controlled PDE while motivating broader, physics-aware evaluation.