RISR: Residual-Informed Scientific Equation Discovery with Large Language Models

📄 arXiv: 2610.11387v1 📥 PDF

作者: Haobo Li, Wenshuo Zhang, Wenxiao Zhao, Eunseo Jung, Rui Sheng, Yushi Sun, Peiqin Zhuang, Hao Chen, Fenghua Ling

分类: cs.SC, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出残差信息驱动的科学方程发现方法 RISR

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号回归 残差编码 方程发现 机器学习 科学计算

📋 核心要点

  1. 现有的符号回归方法在聚合拟合分数方面存在不足，无法有效描述输入间的剩余误差变化。
  2. 论文提出了一种残差信息驱动的方法 RISR，通过分析误差模式来指导公式发现，优化修正过程。
  3. 实验结果显示，RISR 在多个科学任务上显著提升了方程恢复的准确性，超越了现有基线方法。

📝 摘要（中文）

符号回归结合了结构搜索与数值拟合，但聚合拟合分数无法描述剩余误差在输入间的变化。我们提出 RISR，一种利用这些误差模式指导公式发现的残差信息驱动方法，并学习哪些修正值得拟合。残差编码器将对齐的输入、目标、当前预测和残差压缩为连续的标记，以条件化语言模型提出公式。随后，双视图关系编码器利用加性和正则化乘法残差预测候选修正的后拟合效用。我们在 LLM-SRBench 的科学任务上评估 RISR，结果显示其在 1% 和 0.1% 点对点相对误差容忍度下的 ID 准确率分别为 63.57% 和 38.50%，对应的 OOD 准确率为 56.07% 和 38.24%。RISR 超越了使用相同骨干网络的基线方法，表明我们的残差信息驱动方法可以改善数值方程的恢复。

🔬 方法详解

问题定义：本论文旨在解决符号回归中聚合拟合分数无法有效描述剩余误差变化的问题。现有方法在处理输入间的误差时存在局限性，导致公式发现的准确性不足。

核心思路：RISR 通过引入残差信息，利用误差模式来指导公式发现，学习哪些修正是值得拟合的。通过残差编码器将输入、目标、预测和残差压缩为连续标记，从而条件化语言模型生成公式。

技术框架：整体架构包括两个主要模块：残差编码器和双视图关系编码器。残差编码器负责将输入数据压缩为可供语言模型使用的格式，而双视图关系编码器则利用加性和正则化乘法残差来预测候选修正的效用。

关键创新：RISR 的核心创新在于引入残差信息作为指导公式发现的依据，这一方法与传统的符号回归方法相比，能够更有效地利用误差模式进行优化。

关键设计：在技术细节上，残差编码器的设计允许对齐输入和目标数据，双视图关系编码器则通过加性和正则化乘法残差来增强模型的预测能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

RISR 在 LLM-SRBench 的科学任务中表现优异，在 1% 和 0.1% 点对点相对误差容忍度下的 ID 准确率分别达到 63.57% 和 38.50%，对应的 OOD 准确率为 56.07% 和 38.24%。这些结果表明，RISR 超越了现有基线方法，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括科学计算、工程建模和数据分析等。通过提高方程发现的准确性，RISR 可以帮助研究人员更好地理解复杂系统的行为，并在实际应用中提供更可靠的模型支持。

📄 摘要（原文）

Symbolic regression combines structural search with numerical fitting, but aggregate fit scores do not describe how the remaining error varies across inputs. We introduce RISR, a residual-informed method that uses these error patterns to guide formula discovery and learn which corrections are worth fitting. A residual encoder compresses aligned inputs, targets, current predictions, and residuals into continuous tokens that condition a language model to propose formulas. For subsequent refinement, a dual-view relational encoder uses additive and regularized multiplicative residuals to predict the post-fit utility of candidate corrections. We evaluate RISR on scientific tasks from the LLM-SRBench. RISR achieves 63.57% and 38.50% ID accuracy at the 1% and 0.1% pointwise relative-error tolerances, respectively. The corresponding OOD accuracies are 56.07% and 38.24%. RISR outperforms the reported baselines using the same backbone. The results show that our residual-informed approach can improve numerical equation recovery.