PDE-SHARP: PDE Solver Hybrids through Analysis and Refinement Passes

📄 arXiv: 2511.00183v2 📥 PDF

作者: Shaghayegh Fazliani, Madeleine Udell

分类: cs.LG

发布日期: 2025-10-31 (更新: 2025-11-05)

💡 一句话要点

PDE-SHARP：通过分析与优化迭代，显著降低LLM驱动的PDE求解器计算成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏微分方程求解 大型语言模型 科学计算 思维链 模型优化

📋 核心要点

  1. 现有基于LLM的PDE求解器依赖大量计算样本来寻找高精度解，计算成本高昂，尤其对于复杂PDE。
  2. PDE-SHARP框架利用LLM进行数学分析和求解器生成，并通过迭代优化，减少对昂贵科学计算的依赖。
  3. 实验结果表明，PDE-SHARP显著降低了计算评估次数（60-75%），同时提高了求解精度（平均4倍）。

📝 摘要（中文）

本文提出PDE-SHARP框架，旨在降低基于LLM的偏微分方程(PDE)求解器在测试时计算的成本。现有方法通常需要大量求解器样本来识别高精度求解器，这对于复杂PDE而言计算代价高昂。PDE-SHARP通过以低成本的LLM推理替代昂贵的科学计算，在显著减少计算评估次数的同时，实现更高的求解器精度。该框架包含三个阶段：(1)分析：数学的思维链分析，包括PDE分类、解类型检测和稳定性分析；(2)生成：基于前一阶段的数学见解生成求解器；(3)综合：协作式的选择-混合锦标赛，其中LLM评判器通过灵活的性能反馈迭代地改进实现。实验表明，PDE-SHARP平均仅需少于13次求解器评估，而基线方法需要30多次，在测试的PDE上平均提高了4倍的精度，并且在通用和专用推理模型等不同LLM架构上表现出稳健的性能。

🔬 方法详解

问题定义：现有基于LLM的PDE求解器，在测试阶段需要生成大量的求解器样本，并通过数值计算评估其精度。对于复杂的PDE问题，每次数值计算都需要消耗大量的计算资源，导致整体求解成本非常高。因此，如何降低求解器评估次数，同时保证求解精度，是本文要解决的核心问题。

核心思路：PDE-SHARP的核心思路是利用LLM的推理能力，在求解器生成和优化过程中，尽可能地减少对昂贵数值计算的依赖。具体来说，首先利用LLM进行PDE的数学分析，提取关键信息；然后基于这些信息生成初始求解器；最后，通过LLM驱动的选择和混合策略，迭代地优化求解器，从而在少量数值计算的辅助下，获得高精度的求解器。

技术框架：PDE-SHARP框架包含三个主要阶段： 1. 分析(Analysis)：利用LLM进行PDE的数学分析，包括PDE的类型识别、解的类型检测以及稳定性分析等。这一阶段旨在提取PDE的关键信息，为后续的求解器生成提供指导。 2. 生成(Genesis)：基于第一阶段的数学分析结果，利用LLM生成初始的求解器。这一阶段的目标是生成一个具有一定求解能力的初始解，为后续的优化提供基础。 3. 综合(Synthesis)：通过协作式的选择-混合锦标赛，利用LLM评判器，根据性能反馈迭代地改进求解器。这一阶段通过LLM的推理能力，在少量数值计算的辅助下，不断优化求解器，最终获得高精度的解。

关键创新：PDE-SHARP的关键创新在于将LLM的推理能力融入到PDE求解器的生成和优化过程中，从而显著减少了对昂贵数值计算的依赖。与现有方法相比，PDE-SHARP不是简单地生成大量的求解器样本，然后通过数值计算进行筛选，而是利用LLM的数学分析能力，指导求解器的生成和优化，从而在更少的计算资源下，获得更高的求解精度。

关键设计：在分析阶段，LLM需要具备一定的数学知识和推理能力，能够准确地识别PDE的类型、解的类型以及稳定性等信息。在生成阶段，LLM需要能够根据数学分析结果，生成合理的求解器。在综合阶段，LLM评判器需要能够根据性能反馈，对求解器进行迭代优化。具体的参数设置、损失函数和网络结构等细节，需要根据具体的PDE问题进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PDE-SHARP在多个PDE问题上进行了实验验证，结果表明，与基线方法相比，PDE-SHARP平均仅需少于13次求解器评估，而基线方法需要30多次。同时，PDE-SHARP在测试的PDE上平均提高了4倍的精度。此外，PDE-SHARP在不同的LLM架构上都表现出稳健的性能，证明了其通用性和有效性。

🎯 应用场景

PDE-SHARP框架具有广泛的应用前景，可应用于科学计算、工程设计、金融建模等领域。通过降低PDE求解的计算成本，可以加速相关领域的研发进程，并为解决更复杂的科学问题提供可能。未来，该框架有望与更多领域知识融合，进一步提升PDE求解的效率和精度。

📄 摘要（原文）

Current LLM-driven approaches using test-time computing to generate PDE solvers execute a large number of solver samples to identify high-accuracy solvers. These paradigms are especially costly for complex PDEs requiring substantial computational resources for numerical evaluation. We introduce PDE-SHARP, a framework to reduce computational costs by replacing expensive scientific computation by cheaper LLM inference that achieves superior solver accuracy with 60-75% fewer computational evaluations. PDE-SHARP employs three stages: (1) Analysis: mathematical chain-of-thought analysis including PDE classification, solution type detection, and stability analysis; (2) Genesis: solver generation based on mathematical insights from the previous stage; and (3) Synthesis: collaborative selection-hybridization tournaments in which LLM judges iteratively refine implementations through flexible performance feedback. To generate high-quality solvers, PDE-SHARP requires fewer than 13 solver evaluations on average compared to 30+ for baseline methods, improving accuracy uniformly across tested PDEs by $4\times$ on average, and demonstrates robust performance across LLM architectures, from general-purpose to specialized reasoning models.