Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling

📄 arXiv: 2604.12806v1 📥 PDF

作者: Xiaoxiao Liang, Juyuan Zhang, Liming Pan, Linyuan Lü

分类: cs.LG

发布日期: 2026-04-14

备注: Submitted to conference

💡 一句话要点

COSINE：利用LLM引导的符号动力学建模实现可解释的关系推断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系推断 符号动力学建模 可解释性 大型语言模型 图神经网络

📋 核心要点

  1. 现有神经方法在关系推断中依赖黑盒模型，缺乏可解释性，而符号回归方法则受限于预定义的拓扑结构和函数库。
  2. COSINE框架通过协同优化交互图和稀疏符号动力学，并利用LLM自适应地扩展假设空间，从而实现可解释的关系推断。
  3. 实验结果表明，COSINE在合成系统和真实世界流行病数据上均表现出强大的结构恢复能力，并能生成紧凑且与机制对齐的动力学表达式。

📝 摘要（中文）

从观测到的动力学中推断潜在的交互结构是多体交互系统中的一个基本逆问题。大多数神经方法依赖于可训练图上的黑盒代理模型，以牺牲机制可解释性为代价来提高准确性。符号回归提供了显式的动力学方程和更强的归纳偏置，但通常假设已知的拓扑结构和一个固定的函数库。我们提出了COSINE（符号交互和网络边缘的协同优化），这是一个可微框架，可以联合发现交互图和稀疏符号动力学。为了克服固定符号库的限制，COSINE进一步结合了一个外部循环的大型语言模型，该模型使用来自内部优化循环的反馈来自适应地修剪和扩展假设空间。在合成系统和大规模真实世界流行病数据上的实验表明，该方法具有鲁棒的结构恢复能力和紧凑的、与机制对齐的动力学表达式。

🔬 方法详解

问题定义：论文旨在解决从观测到的动力学数据中推断潜在交互结构的问题。现有神经方法虽然精度较高，但由于其黑盒特性，缺乏可解释性。符号回归方法虽然具有可解释性，但通常需要预先知道系统的拓扑结构，并且依赖于固定的函数库，限制了其适用范围。

核心思路：COSINE的核心思路是联合优化交互图和稀疏符号动力学，并利用大型语言模型（LLM）来动态调整符号表达式的搜索空间。通过这种方式，COSINE能够同时学习系统的结构和动力学方程，并克服了传统符号回归方法中函数库固定的问题。

技术框架：COSINE框架包含两个主要循环：内部优化循环和外部LLM引导循环。内部优化循环使用可微的方式联合学习交互图的结构和稀疏符号动力学方程的参数。外部LLM引导循环则根据内部优化循环的反馈，自适应地修剪和扩展符号表达式的假设空间。具体来说，内部循环通过梯度下降优化一个损失函数，该损失函数包括动力学方程的拟合误差和稀疏性约束。外部循环则利用LLM分析内部循环的结果，并提出新的符号表达式，以供内部循环进一步优化。

关键创新：COSINE的关键创新在于将可微的符号回归与LLM相结合，从而实现动态的符号表达式搜索。与传统的符号回归方法相比，COSINE不需要预先定义固定的函数库，而是可以根据数据自适应地学习合适的符号表达式。此外，COSINE还通过联合优化交互图和符号动力学方程，提高了结构恢复的准确性。

关键设计：COSINE使用可微的Gumbel-Softmax技巧来学习交互图的结构。对于符号动力学方程的学习，COSINE使用稀疏回归技术，鼓励模型选择最少的项来描述系统的动力学。LLM在外部循环中扮演着重要的角色，它根据内部循环的反馈，提出新的符号表达式，并对现有的表达式进行修剪。损失函数包括动力学方程的拟合误差、交互图的稀疏性约束以及符号表达式的复杂度惩罚。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

COSINE在合成数据集和真实世界流行病数据集上进行了评估。实验结果表明，COSINE能够准确地恢复系统的交互结构，并生成紧凑且与机制对齐的动力学表达式。在结构恢复方面，COSINE优于现有的神经方法和符号回归方法。例如，在SIR流行病模型上，COSINE能够以更高的精度恢复感染率和恢复率等关键参数。

🎯 应用场景

COSINE具有广泛的应用前景，例如在生物网络建模、社会网络分析、流行病传播预测等领域。通过COSINE，研究人员可以从观测到的动力学数据中推断出潜在的交互结构和动力学规律，从而更好地理解和预测复杂系统的行为。此外，COSINE生成的可解释的动力学方程也有助于发现新的科学知识。

📄 摘要（原文）

Inferring latent interaction structures from observed dynamics is a fundamental inverse problem in many-body interacting systems. Most neural approaches rely on black-box surrogates over trainable graphs, achieving accuracy at the expense of mechanistic interpretability. Symbolic regression offers explicit dynamical equations and stronger inductive biases, but typically assumes known topology and a fixed function library. We propose \textbf{COSINE} (\textbf{C}o-\textbf{O}ptimization of \textbf{S}ymbolic \textbf{I}nteractions and \textbf{N}etwork \textbf{E}dges), a differentiable framework that jointly discovers interaction graphs and sparse symbolic dynamics. To overcome the limitations of fixed symbolic libraries, COSINE further incorporates an outer-loop large language model that adaptively prunes and expands the hypothesis space using feedback from the inner optimization loop. Experiments on synthetic systems and large-scale real-world epidemic data demonstrate robust structural recovery and compact, mechanism-aligned dynamical expressions. Code: https://anonymous.4open.science/r/COSINE-6D43.