Explore, Then Commit: Measurement-Efficient Scientific Law Discovery with Language Models
作者: Kautik Mandve, Dileepa Fernando
分类: cs.AI, cs.LG, physics.comp-ph
发布日期: 2026-10-06
备注: 19 pages, including Supplementary Material S1; code and data included as ancillary files. Preprint
💡 一句话要点
提出探索-再承诺协议以提高科学定律发现的测量效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学定律发现 语言模型 测量效率 程序化规划 数据收集 自动诊断 物理模块 实验优化
📋 核心要点
- 现有科学定律发现方法在测量选择和证据转化方面效率低下，导致资源浪费。
- 论文提出的探索-再承诺协议通过结合语言模型和程序化规划器，优化了测量过程。
- 实验结果显示，启用解释器的规划器在测量次数和误差上均有显著提升，验证了方法的有效性。
📝 摘要（中文）
科学定律发现需要选择测量并将证据转化为控制方程。本文评估了一种探索-再承诺协议，其中大型语言模型提出假设，程序化规划器收集测量数据，最终通过新提示合成控制方程。该协议结合了结构化探测、自动数值诊断、限制测量批次和可选解释器访问。在576个NewtonBench试验中，我们比较了12个物理模块的八种配置，使用GPT-4.1-mini和中等难度的GPT-4.1复制。实验结果表明，启用解释器的规划器在中等任务中每次试验的测量次数显著减少，且均方根对数误差显著降低。这些结果支持该协议作为一种有前景的测量高效配置。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在科学定律发现中高效选择测量并将证据转化为控制方程。现有方法在测量选择和数据处理上存在效率低下和资源浪费的问题。
核心思路：论文的核心解决思路是采用探索-再承诺协议，通过大型语言模型生成假设，利用程序化规划器收集必要的测量数据，从而优化整个过程。这样的设计旨在减少不必要的测量，提高效率。
技术框架：整体架构包括三个主要模块：首先，语言模型生成假设；其次，程序化规划器根据假设收集测量数据；最后，通过新提示合成最终的控制方程。该流程结合了结构化探测和自动数值诊断。
关键创新：最重要的技术创新点在于将语言模型与程序化规划器结合，形成探索-再承诺的测量策略。这与现有方法的本质区别在于，现有方法往往缺乏系统性和结构化的测量选择。
关键设计：在设计中，关键参数包括限制测量批次的大小和启用解释器的选择。损失函数采用均方根对数误差，以确保模型在测量效率和准确性之间的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，启用解释器的规划器在中等任务中，GPT-4.1-mini的测量次数从22.5减少到8.6，GPT-4.1则从43.0减少到8.9。同时，均方根对数误差显著降低，分别从2.514降至0.202和0.626降至0.149，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括物理学、工程学和其他科学领域，尤其是在需要高效数据收集和分析的实验中。通过提高科学定律发现的效率，该方法可能会加速科学研究的进展，降低实验成本，并推动新理论的形成。
📄 摘要（原文）
Scientific law discovery requires selecting measurements and converting evidence into a governing equation. We evaluate an explore-then-commit protocol in which a large language model proposes hypotheses, a programmatic planner gathers measurements, and a fresh prompt synthesizes the final law from fixed observations. The protocol combines structured probes, automatic numerical diagnostics, restricted measurement batches, and optional interpreter access. Across 576 NewtonBench trials, we compare eight configurations on 12 physics modules using GPT-4.1-mini and a medium-difficulty GPT-4.1 replication. On medium tasks, interpreter-enabled planners use 8.6 versus 22.5 measurements per trial for GPT-4.1-mini and 8.9 versus 43.0 for GPT-4.1. Their mean magnitude-based root-mean-squared logarithmic error falls from 2.514 to 0.202 and from 0.626 to 0.149, respectively. An additional audit retains incomplete and invalid submissions in a coverage-sensitive analysis. Observed symbolic-accuracy gains are less consistent across modules, and random acquisition is competitive with disagreement scoring. Measurement savings occur in every module, but unequal batch constraints prevent attributing them solely to acquisition quality. These results support the complete protocol as a promising measurement-efficient configuration, while leaving its causal components and generalization beyond noiseless direct-equation tasks unresolved.