LLM-IDEA: Identifiability-Driven Experimental Agent for Autonomous Discovery of Mechanistic World Models

📄 arXiv: 2610.11253v1 📥 PDF

作者: Surya Shetty, Ulisses Braga-Neto

分类: cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出LLM-IDEA以解决实验可识别性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主实验代理 可识别性引擎 科学发现 实验设计 机器学习

📋 核心要点

  1. 现有的自主科学研究方法在达到实验瓶颈时，无法有效判断是能力限制还是模型不可识别，导致实验效率低下。
  2. 本文提出了LLM-IDEA，通过可识别性引擎提供三种判定结果，帮助代理更好地选择实验策略。
  3. 在多个基准测试中，LLM-IDEA展示了显著的识别能力，能够在可识别的协议下实现更深的发现深度。

📝 摘要（中文）

随着大型语言模型代理被越来越多地应用于自主科学研究，设计实验和推断机制世界模型的能力不断提升。然而，现有方法往往忽视了可识别性的问题：当达到某一实验瓶颈时，代理需要判断是能力不足还是模型本身无法从数据中识别。为此，本文提出了可识别性驱动的实验代理（LLM-IDEA），通过一个可识别性引擎提供三种判定结果：能力限制、可在设计类中解决或已确认耗尽。在ODEBench上，62个具有自由常数的系统中有60个在第0轮时是可识别的，而RC电路在该协议下的每次实验均被确认耗尽。该引擎在多个经典模型中重现了已知的判定结果，并在DiscoverPhysics基准测试中发现了两个公共世界，其解释标准奖励了法律实验无法区分的特征。

🔬 方法详解

问题定义：本文旨在解决自主实验代理在面对实验瓶颈时的可识别性问题。现有方法无法有效区分能力限制与模型不可识别，导致实验设计的低效与无效。

核心思路：LLM-IDEA的核心思想是引入可识别性引擎，提供三种判定结果，帮助代理判断是否需要继续实验、改进实验设计或更换实验类型。

技术框架：LLM-IDEA的整体架构包括可识别性引擎、实验设计模块和反馈机制。可识别性引擎负责分析模型的可识别性，实验设计模块根据反馈优化实验策略。

关键创新：最重要的技术创新在于引入了可识别性判定机制，使得代理能够在实验过程中主动判断实验的有效性，与传统方法相比，显著提高了实验的效率与准确性。

关键设计：在设计中，关键参数包括实验设计的反馈机制、可识别性引擎的判定算法，以及对不同模型的适应性调整。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在ODEBench基准测试中，LLM-IDEA成功识别了60个可识别的系统，并在可识别协议下实现了8/8种子达到至少三的发现深度，相较于无此机制的1/8种子，表现出显著提升（p = 0.012）。

🎯 应用场景

该研究的潜在应用领域包括科学实验设计、自动化研究和机器学习模型的优化。通过提高实验的可识别性，LLM-IDEA能够帮助科研人员更高效地探索复杂系统，推动科学发现的进程。

📄 摘要（原文）

Large language model agents are being increasingly deployed as autonomous scientists, designing experiments and inferring mechanistic world models with minimal human oversight. Yet identifiability is often overlooked: when a plateau is reached, the agent needs to know whether it is not yet capable enough or the model simply is not identifiable from the data, in which case no amount of further experimentation of the same kind can help. We propose the Identifiability-Driven Experimental Agent (LLM-IDEA) for closed-loop discovery with an identifiability engine that returns a three-way plateau verdict: capability limit, resolvable within the design class, or certified exhausted. On ODEBench, 60 of the 62 systems with free constants are identifiable at round 0; the RC circuit is certified exhausted for every experiment that protocol can run, and a harvesting model is resolvable by one added initial condition. The identifiability engine reproduces known verdicts on Lotka-Volterra, Van der Pol, Lorenz, and a pharmacokinetic model, where it recommends the intravenous arm pharmacologists use, and it ranks the depth scorer of our own benchmark last among four observation designs. On the DiscoverPhysics benchmark, it finds two public worlds whose explanation rubric rewards a distinction no legal experiment can make, and every model there with accurate trajectories failed the explanation grade (15 of 15, against 5 of 9 in identifiable worlds, p = 0.012). On the Alien Universe, a two-body testbed we propose in which a force law switches between a provably non-identifiable and an identifiable protocol, LLM-IDEA on the identifiable protocol reaches discovery depth at least three on 8/8 seeds versus 1/8 without it. An autonomous discovery agent can thus compute, rather than guess, whether a plateau calls for more search, a better experiment of the same kind, or a different kind of experiment.