Program Synthesis for Simulation-Based Inference: Joint Model Selection and Parameter Estimation

📄 arXiv: 2607.17540v1 📥 PDF

作者: Siddharth Mishra-Sharma

分类: cs.LG, stat.ML

发布日期: 2026-07-20

备注: 15+7 pages, 4+2 figures

💡 一句话要点

提出联合模型选择与参数估计的新框架以解决复杂模型推断问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经模拟推断 程序合成 模型选择 参数估计 大型语言模型 复杂系统建模 数据驱动推断

📋 核心要点

  1. 现有的神经模拟推断方法通常要求用户预先定义固定的模型结构，限制了模型的灵活性和适用性。
  2. 本文提出的框架结合了大型语言模型和神经模拟推断，能够根据自然语言描述自动生成和优化模拟器程序。
  3. 在多种基准测试中，该方法展示了在模型选择和参数估计方面的显著提升，准确性与数据内容密切相关。

📝 摘要（中文）

神经模拟推断能够为复杂模型进行参数估计，但通常需要用户指定固定模型结构的模拟器。本文提出了一种联合模型选择与参数估计的框架，将大型语言模型（LLM）用于程序合成与神经模拟推断相结合。给定系统及数据的自然语言描述，LLM提出候选模拟器程序，并通过反馈驱动的变异进行迭代优化，最终通过神经密度估计进行评估。该方法不仅支持在固定模型内进行参数估计，还能在模型池中进行模拟推断。在涵盖确定性动态、随机流行病模型及引力透镜图像中的暗物质亚结构推断的基准测试中，该方法能够从开放式提示中识别出合理的模型家族，其准确性反映了数据的信息内容和候选模型的可识别性。

🔬 方法详解

问题定义：本文旨在解决现有神经模拟推断方法中固定模型结构的局限性，允许用户在模型选择和参数估计中具有更大的灵活性。

核心思路：通过结合大型语言模型进行程序合成，自动生成候选模拟器程序，并通过反馈机制进行迭代优化，从而实现对复杂模型的灵活推断。

技术框架：整体架构包括三个主要模块：首先，接收自然语言描述并生成候选模拟器；其次，利用反馈驱动的变异对候选程序进行优化；最后，通过神经密度估计对优化后的程序进行评估。

关键创新：该方法的创新之处在于将程序合成与模拟推断结合，允许在一个模型池中进行推断，而不仅限于固定模型的参数估计。这种方法显著提高了模型选择的灵活性和准确性。

关键设计：在设计中，使用了特定的损失函数来评估模拟器的性能，并通过迭代优化过程调整参数设置，以确保生成的模拟器能够准确反映数据的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项基准测试中，该方法成功识别出合理的模型家族，准确性与数据的信息内容高度一致。与传统方法相比，模型选择的灵活性和准确性显著提升，展示了在确定性动态和随机流行病模型中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括复杂系统的建模与推断，如流行病传播、物理现象模拟及天文数据分析等。通过提供灵活的模型选择与参数估计工具，研究成果将推动科学研究和工程应用的进步，尤其是在需要快速适应新数据的场景中。

📄 摘要（原文）

Neural simulation-based inference enables parameter estimation for complex models, but typically requires the user to specify a simulator encoding a fixed model structure. We present a framework for joint model selection and parameter estimation that combines large language models for program synthesis with neural simulation-based inference. Given a natural language description of the system and data under investigation, an LLM proposes candidate simulator programs which are iteratively refined via feedback-driven mutation and evaluated using neural density estimation. The approach enables simulation-based inference over a pool of models, not just parameters within a fixed model. On benchmarks spanning deterministic dynamics, stochastic epidemic models, and dark matter substructure inference from gravitational-lensing images, the method identifies plausible model families from open-ended prompts, with accuracy that reflects the information content of the data and identifiability of candidate models.