Learning First Integrals via Backward-Generated Data and Guided Reinforcement Learning

📄 arXiv: 2605.21160v1 📥 PDF

作者: Jingfeng Zhong, Zhengxiang Liu, Zhijie Wang, Shuai Li

分类: cs.LG

发布日期: 2026-05-20

备注: 17 pages, 2 figures, 3 tables

💡 一句话要点

FISolver：利用反向生成数据和引导强化学习发现动力系统首次积分

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 首次积分发现 反向生成 强化学习 符号计算 动力系统

📋 核心要点

  1. 现有符号计算工具和大型语言模型在发现动力系统首次积分方面面临数据稀缺和依赖数学直觉的挑战。
  2. FISolver通过反向生成算法构建大规模数据集，并结合监督微调和强化学习来提升模型性能。
  3. 实验结果表明，FISolver在计算成本更低的情况下，显著优于其他大型数学LLM和商业求解器。

📝 摘要（中文）

首次积分的发现对于理解动力系统中的守恒定律至关重要。然而，现有的符号计算工具和大型语言模型（LLMs）在此任务上仍然受到限制，因为高质量的训练数据稀缺，并且成功的解决方案通常依赖于数学直觉。本文提出了FISolver，一个基于LLM的求解器，旨在解决这一挑战。首先，我们引入了一种“反向生成”算法，通过从采样的积分推导微分方程，系统地构建大规模的（微分方程，首次积分）对数据集，从而缓解数据稀缺的瓶颈。其次，我们将监督微调应用于一个紧凑的数学模型，并通过基于Levenshtein距离的塑造奖励的强化学习进一步提高其性能。此外，我们设计了数据合成和混合策略，支持从稀疏示例中有效适应困难的问题族。实验表明，FISolver在需要显著降低计算成本的同时，在具有挑战性的基准测试中显著优于更大的数学LLM和商业求解器（如Mathematica），表明了一种新的数据驱动的自动发现首次积分的途径。

🔬 方法详解

问题定义：论文旨在解决动力系统中首次积分自动发现的问题。现有的符号计算工具和大型语言模型面临两个主要痛点：一是高质量的训练数据稀缺，二是求解过程往往需要较强的数学直觉，难以自动化。

核心思路：论文的核心思路是利用“反向生成”算法来解决数据稀缺问题，并结合监督学习和强化学习来提升模型的求解能力。通过从已知的首次积分反向推导微分方程，可以系统地生成大规模的训练数据。同时，利用强化学习来引导模型探索更有效的求解路径。

技术框架：FISolver的整体框架包含以下几个主要阶段：1) 反向数据生成：利用反向生成算法，从采样的首次积分生成对应的微分方程，构建大规模数据集。2) 监督微调：使用生成的数据集对一个紧凑的数学模型进行监督微调，使其具备初步的求解能力。3) 强化学习：利用强化学习算法，以监督微调后的模型为基础，进一步优化模型的求解策略。强化学习的目标是最大化基于Levenshtein距离的塑造奖励，鼓励模型生成更接近正确答案的表达式。

关键创新：论文最重要的技术创新点在于提出了“反向生成”算法，这是一种有效的数据增强方法，可以显著缓解首次积分发现任务中的数据稀缺问题。此外，结合监督学习和强化学习，可以充分利用生成的数据，提升模型的求解能力。

关键设计：在反向生成算法中，需要选择合适的首次积分函数族，并设计有效的采样策略。在强化学习中，使用了基于Levenshtein距离的塑造奖励，引导模型生成更接近正确答案的表达式。数据合成和混合策略用于支持模型有效适应困难的问题族。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

FISolver在具有挑战性的基准测试中显著优于更大的数学LLM和商业求解器（如Mathematica），同时计算成本更低。这表明FISolver在首次积分自动发现方面具有显著的优势，并提供了一种新的数据驱动的途径。

🎯 应用场景

该研究成果可应用于物理学、工程学等领域，用于自动发现动力系统中的守恒定律，帮助科学家更深入地理解复杂系统的行为。此外，该方法还可以推广到其他符号计算任务中，例如微分方程求解、积分计算等，具有广泛的应用前景。

📄 摘要（原文）

The discovery of first integrals is of fundamental scientific importance for understanding conservation laws in dynamical systems. However, existing symbolic computation tools and Large Language Models (LLMs) remain limited on this task because high-quality training data are scarce and successful solutions often depend on mathematical intuition. This paper presents FISolver, an LLM-based solver developed to address this challenge. First, we introduce a "Backward Generation" algorithm that systematically builds large-scale datasets of (differential equation, first integral) pairs by deriving differential equations from sampled integrals, thereby alleviating the data scarcity bottleneck. Second, we apply supervised fine-tuning to a compact mathematical model and further improve its performance through reinforcement learning with a Levenshtein Distance-based shaped reward. In addition, we design data synthesis and blending strategies that support effective adaptation to difficult problem families from sparse examples. Experiments show that FISolver, while requiring substantially lower computational cost, significantly outperforms larger mathematical LLMs and commercial solvers such as Mathematica on challenging benchmarks, indicating a new data-driven route for automated discovery of first integrals.