Improving Neural Symbolic Regression with a Diverse Prior and Post-training Alignment

📄 arXiv: 2610.17994v1 📥 PDF

作者: David Otte, Jörg K. H. Franke, Frank Hutter

分类: cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出RASR以提升神经符号回归在真实数据上的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号回归 神经网络 强化学习 数据建模 机器学习

📋 核心要点

  1. 现有的神经符号回归方法在处理真实噪声数据时，性能仍低于遗传编程，主要原因在于训练过程的不足。
  2. 本文提出RASR方法，通过设计合成先验和分阶段训练来提升模型的表达能力，缩小与真实数据的差距。
  3. 在SRBench 2.0的黑箱轨道上，RASR取得了所有评估方法中最佳的平均测试$R^2$排名，显示出显著的性能提升。

📝 摘要（中文）

符号回归是寻找适合数据集的表达式的问题。现有的神经符号回归方法在真实噪声数据上表现不佳，主要原因在于训练过程。本文提出了RASR（强化的摊销符号回归），通过设计合成先验和分阶段训练来缩小与真实数据的差距。首先，合成先验通过从表格基础模型中获取输入，底向上采样常数，并引入异方差和结构化噪声来标准化数据。其次，训练分为两个阶段：监督预训练和强化学习后训练，后者通过奖励保留拟合和惩罚表达式大小来对齐模型。实验结果表明，RASR在SRBench 2.0的黑箱轨道上取得了最佳的平均测试$R^2$排名，并在Strogatz和Feynman数据集上表现出色。

🔬 方法详解

问题定义：本文旨在解决神经符号回归在真实噪声数据上表现不佳的问题。现有方法在训练过程中未能有效适应真实数据的特性，导致性能不足。

核心思路：提出RASR方法，通过设计合成先验和分阶段训练来提升模型的适应性。合成先验通过从表格基础模型中获取输入，底向上采样常数，并引入异方差和结构化噪声来标准化数据。

技术框架：RASR的训练过程分为两个阶段：首先进行监督预训练，最大化参考表达式的token级似然；然后进行强化学习后训练，通过奖励保留拟合和惩罚表达式大小来对齐模型。

关键创新：最重要的创新在于设计了合成先验和分阶段训练策略，使得模型在真实数据上表现更佳。这与现有方法的单一训练过程形成鲜明对比。

关键设计：在合成先验中，输入来自表格基础模型，常数通过底向上采样，目标数据引入异方差和结构化噪声。损失函数设计为结合token级似然和强化学习奖励，确保模型在推理时的有效性。整体架构强调了训练的两个阶段，确保模型在不同阶段的学习目标明确。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在SRBench 2.0的黑箱轨道上，RASR方法取得了最佳的平均测试$R^2$排名，显示出其在多种数据集上的优越性。在Strogatz数据集上，RASR恢复的真实表达式数量超过了任何基线方法，而在Feynman数据集上，其表现与最佳方法相当，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括科学建模、工程设计和数据分析等领域，能够帮助研究人员和工程师更有效地从数据中提取规律和表达式。未来，随着数据复杂性的增加，RASR方法可能在更广泛的实际问题中发挥重要作用，推动符号回归技术的发展。

📄 摘要（原文）

Symbolic regression is the problem of finding an expression that fits a dataset. Solving it requires searching a combinatorial space of candidate expressions. Neural symbolic regression can amortize that search by training a model once on synthetic data and then predicting expressions for a new dataset. But existing models still underperform genetic programming on real, noisy data. We argue that the deficit lies in the training rather than in the paradigm, and present RASR (Reinforced Amortized Symbolic Regression), a method with two key changes to the training recipe. First, we design a synthetic prior that narrows the gap with real-world data: inputs come from the prior of a tabular foundation model; constants are sampled bottom-up, conditioned on the data; targets carry heteroscedastic and structured noise; and everything is standardized. Second, we split training into two stages. Supervised pre-training maximizes the token-level likelihood of a reference expression. This is followed by reinforcement-learning post-training that aligns the model with its inference-time use by rewarding held-out fit and penalizing expression size. On the black-box track of SRBench 2.0, RASR achieves the best mean test $R^2$ rank of all evaluated methods. Three RASR variants, trained with different size penalties, make up most of the accuracy-complexity Pareto front. On Strogatz, our method recovers more ground-truth expressions than any baseline, and on Feynman it is competitive with the best-performing methods.