Symbolic Regression with Multimodal Large Language Models and Kolmogorov Arnold Networks
作者: Thomas R. Harvey, Fabian Ruehle, Kit Fraser-Taliente, James Halverson
分类: cs.LG, cs.NE, cs.SC
发布日期: 2025-05-12
💡 一句话要点
提出基于多模态大语言模型和Kolmogorov Arnold网络的符号回归方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 符号回归 大型语言模型 多模态学习 Kolmogorov Arnold Networks 遗传算法
📋 核心要点
- 传统符号回归方法需要预先定义函数集，限制了搜索空间和灵活性。
- 利用多模态LLM生成函数表达式，结合遗传算法和数值优化，实现更灵活的符号回归。
- 使用KANs将多变量函数分解为单变量函数，简化了多变量符号回归的复杂性。
📝 摘要（中文）
本文提出了一种新颖的符号回归方法，该方法利用具备视觉能力的大型语言模型（LLM）和Google DeepMind的Funsearch背后的思想。LLM接收单变量函数的图像，并负责提出该函数的ansatz（数学表达式）。然后使用标准数值优化器拟合ansatz的自由参数，并且这些ansatz的集合构成了遗传算法的种群。与其他符号回归技术不同，我们的方法不需要指定用于回归的函数集，但通过适当的提示工程，我们可以任意地调节生成步骤。通过使用Kolmogorov Arnold Networks（KANs），我们证明了“单变量即你所需”对于符号回归是成立的，并通过在训练好的KAN的每条边上学习单变量函数，将该方法扩展到多变量函数。然后通过使用语言模型进行进一步处理来简化组合表达式。
🔬 方法详解
问题定义：论文旨在解决符号回归问题，即从数据中自动发现数学表达式。现有符号回归方法通常需要预先指定一组基本函数，这限制了搜索空间，并且可能无法找到最佳的函数形式。此外，处理多变量函数的符号回归问题通常更加复杂。
核心思路：论文的核心思路是利用视觉能力的大型语言模型（LLM）来生成候选的函数表达式（ansatz），并结合遗传算法和数值优化来搜索最佳的函数形式。通过将多变量函数分解为单变量函数，并利用Kolmogorov Arnold Networks（KANs）进行表示，从而简化了多变量符号回归问题。
技术框架：该方法主要包含以下几个阶段：1) LLM接收单变量函数的图像，并生成候选的函数表达式（ansatz）。2) 使用数值优化器拟合ansatz的自由参数。3) 使用遗传算法选择和组合优秀的ansatz，形成新的种群。4) 对于多变量函数，首先训练一个KAN来逼近该函数，然后对KAN的每条边上的单变量函数进行符号回归。5) 使用语言模型简化最终的函数表达式。
关键创新：该方法的主要创新点在于：1) 利用多模态LLM来生成函数表达式，无需预先指定函数集，从而扩展了搜索空间。2) 使用KANs将多变量函数分解为单变量函数，简化了多变量符号回归问题。3) 结合遗传算法、数值优化和语言模型，形成了一个完整的符号回归框架。
关键设计：在提示工程方面，需要设计合适的prompt来引导LLM生成合适的函数表达式。在KAN的训练方面，需要选择合适的网络结构和训练参数。在遗传算法方面，需要设计合适的选择、交叉和变异算子。在数值优化方面，需要选择合适的优化算法和损失函数。语言模型用于简化表达式，具体实现细节未知。
🖼️ 关键图片
📊 实验亮点
论文展示了该方法在单变量和多变量函数符号回归上的有效性。虽然论文中没有给出具体的性能数据和对比基线，但通过使用KANs和LLM，该方法能够发现复杂的函数表达式，并简化多变量函数的符号回归问题。具体的提升幅度未知。
🎯 应用场景
该研究成果可应用于科学发现、工程设计、数据分析等领域。例如，可以用于自动发现物理定律、优化控制策略、拟合实验数据等。该方法有望加速科学研究和工程实践，并为自动化建模提供新的思路。
📄 摘要（原文）
We present a novel approach to symbolic regression using vision-capable large language models (LLMs) and the ideas behind Google DeepMind's Funsearch. The LLM is given a plot of a univariate function and tasked with proposing an ansatz for that function. The free parameters of the ansatz are fitted using standard numerical optimisers, and a collection of such ansätze make up the population of a genetic algorithm. Unlike other symbolic regression techniques, our method does not require the specification of a set of functions to be used in regression, but with appropriate prompt engineering, we can arbitrarily condition the generative step. By using Kolmogorov Arnold Networks (KANs), we demonstrate that ``univariate is all you need'' for symbolic regression, and extend this method to multivariate functions by learning the univariate function on each edge of a trained KAN. The combined expression is then simplified by further processing with a language model.