Neural-Guided Equation Discovery

📄 arXiv: 2503.16953v1 📥 PDF

作者: Jannis Brugger, Mattia Cerrato, David Richter, Cedric Derstroff, Daniel Maninger, Mira Mezini, Stefan Kramer

分类: cs.AI

发布日期: 2025-03-21

备注: 32 pages + 4 pages appendix, 9 figures, book chapter

💡 一句话要点

提出神经引导的方程发现系统MGMT，探索不同架构在表格数据方程发现中的应用。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 方程发现 神经引导 蒙特卡洛树搜索 表格数据 深度学习

📋 核心要点

  1. 现有方程发现方法缺乏对表格数据有效嵌入的能力，限制了深度学习方法的应用。
  2. 提出MGMT系统，利用神经引导的蒙特卡洛树搜索，结合上下文无关文法定义搜索空间，实现高效方程发现。
  3. 实验表明，监督学习优于强化学习，且使用语法规则作为动作空间更有效，风险寻求和AmEx-MCTS能进一步提升性能。

📝 摘要（中文）

深度学习方法在方程发现领域越来越有吸引力。本文通过概述最近的论文和使用我们模块化方程发现系统MGMT（用于方程发现的多任务语法引导蒙特卡洛树搜索）的实验结果，展示了使用神经引导方程发现的优点和缺点。该系统使用神经引导的蒙特卡洛树搜索（MCTS），并支持监督学习和强化学习，其搜索空间由上下文无关文法定义。我们总结了方程发现系统的七个理想属性，强调了嵌入表格数据集对于此类学习方法的重要性。利用MGMT的模块化结构，我们比较了七种架构（包括RNN、CNN和Transformer）在辅助任务上的表格数据集嵌入效果，该辅助任务是方程发现任务中表格数据集的对比学习。对于几乎所有模块组合，监督学习都优于强化学习。此外，我们的实验表明，使用语法规则作为动作空间而不是token具有优势。MCTS的两种变体——风险寻求MCTS和AmEx-MCTS——可以改进这种搜索的方程发现。

🔬 方法详解

问题定义：论文旨在解决如何利用深度学习方法更有效地进行方程发现，尤其是在处理表格数据时。现有方法在嵌入表格数据方面存在不足，导致深度学习模型难以充分利用数据中的信息，从而限制了方程发现的准确性和效率。

核心思路：论文的核心思路是利用神经引导的蒙特卡洛树搜索（MCTS）来探索方程空间，并结合上下文无关文法来约束搜索过程，从而提高搜索效率和方程的合理性。此外，论文还探索了不同的神经网络架构来嵌入表格数据，以便更好地利用数据中的信息。

技术框架：MGMT系统是一个模块化的方程发现系统，主要包含以下几个模块：1) 数据嵌入模块：使用不同的神经网络架构（如RNN、CNN、Transformer）将表格数据嵌入到向量空间中。2) 搜索模块：使用神经引导的MCTS在方程空间中搜索可能的方程。3) 语法模块：使用上下文无关文法来定义方程的语法规则，约束搜索空间。4) 学习模块：支持监督学习和强化学习，用于训练MCTS中的策略网络和价值网络。

关键创新：论文的关键创新在于将神经引导的MCTS与上下文无关文法相结合，从而实现高效的方程发现。此外，论文还探索了不同的神经网络架构来嵌入表格数据，并比较了它们在方程发现任务中的性能。论文还提出了风险寻求MCTS和AmEx-MCTS两种MCTS变体，进一步提高了方程发现的性能。

关键设计：在数据嵌入模块中，论文比较了RNN、CNN和Transformer等不同的神经网络架构。在搜索模块中，MCTS使用策略网络来指导搜索方向，使用价值网络来评估节点的价值。在学习模块中，监督学习使用方程的标签作为监督信号，强化学习使用方程的奖励作为监督信号。论文还比较了使用语法规则作为动作空间和使用token作为动作空间的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在几乎所有模块组合中，监督学习优于强化学习。此外，使用语法规则作为动作空间比使用token作为动作空间更有效。风险寻求MCTS和AmEx-MCTS两种MCTS变体可以进一步提高方程发现的性能。这些结果为方程发现系统的设计提供了重要的指导。

🎯 应用场景

该研究成果可应用于科学发现、工程设计、金融建模等领域，帮助研究人员从数据中自动发现潜在的数学关系和物理规律，加速科学研究和技术创新。例如，可以用于发现新的物理公式、预测股票价格走势、优化控制系统参数等。

📄 摘要（原文）

Deep learning approaches are becoming increasingly attractive for equation discovery. We show the advantages and disadvantages of using neural-guided equation discovery by giving an overview of recent papers and the results of experiments using our modular equation discovery system MGMT ($\textbf{M}$ulti-Task $\textbf{G}$rammar-Guided $\textbf{M}$onte-Carlo $\textbf{T}$ree Search for Equation Discovery). The system uses neural-guided Monte-Carlo Tree Search (MCTS) and supports both supervised and reinforcement learning, with a search space defined by a context-free grammar. We summarize seven desirable properties of equation discovery systems, emphasizing the importance of embedding tabular data sets for such learning approaches. Using the modular structure of MGMT, we compare seven architectures (among them, RNNs, CNNs, and Transformers) for embedding tabular datasets on the auxiliary task of contrastive learning for tabular data sets on an equation discovery task. For almost all combinations of modules, supervised learning outperforms reinforcement learning. Moreover, our experiments indicate an advantage of using grammar rules as action space instead of tokens. Two adaptations of MCTS -- risk-seeking MCTS and AmEx-MCTS -- can improve equation discovery with that kind of search.