PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

📄 arXiv: 2507.15550v2 📥 PDF

作者: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber

分类: cs.LG, cs.AI, physics.soc-ph

发布日期: 2025-07-21 (更新: 2025-10-26)

备注: 31 Pages

💡 一句话要点

PhysGym：构建可控先验的交互式物理发现LLM基准测试平台

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学发现 交互式环境 基准测试 先验知识 物理仿真 智能体 推理能力

📋 核心要点

  1. 现有基准测试缺乏对LLM智能体在不同环境复杂度和先验知识下的科学发现能力进行评估的有效方法。
  2. PhysGym通过提供可控先验知识水平的交互式物理环境，使研究人员能够细致地分析智能体的推理能力。
  3. 实验结果表明，PhysGym能够有效区分不同LLM在不同先验知识和任务复杂度下的性能表现。

📝 摘要（中文）

本文提出PhysGym，一个用于严格评估基于大型语言模型（LLM）的智能体在交互式物理环境中进行科学推理能力的新型基准测试套件和仿真平台。PhysGym的主要贡献在于其能够精确控制提供给智能体的先验知识水平。这使得研究人员能够沿着问题复杂度和先验知识水平等轴线剖析智能体的性能。该基准包含一系列交互式仿真，智能体必须主动探测环境，在约束条件下按顺序收集数据，并提出关于潜在物理定律的假设。PhysGym提供标准化的评估协议和指标，用于评估假设的准确性和模型的保真度。通过展示基线LLM的结果，证明了该基准测试的实用性，并展示了其基于不同先验和任务复杂度区分能力的能力。

🔬 方法详解

问题定义：论文旨在解决如何系统性地评估大型语言模型（LLM）在交互式物理环境中进行科学发现的能力。现有方法缺乏对环境复杂度和先验知识的有效控制，难以深入分析LLM的推理过程和能力瓶颈。现有基准测试无法充分评估LLM在受限条件下主动探索、收集数据和形成科学假设的能力。

核心思路：PhysGym的核心思路是构建一个可控的交互式物理仿真环境，允许研究人员精确控制提供给LLM智能体的先验知识水平。通过让智能体在环境中进行主动探索和数据收集，并根据观察到的现象提出假设，从而评估其科学推理能力。这种可控的先验知识设置使得能够更清晰地分析LLM在不同条件下的表现。

技术框架：PhysGym包含以下主要模块：1) 一系列交互式物理仿真环境，涵盖不同的物理现象和复杂度；2) 先验知识控制模块，允许研究人员调整提供给智能体的先验知识水平；3) 智能体交互模块，负责处理智能体与环境之间的交互，包括动作执行、数据收集和观察反馈；4) 评估模块，根据预定义的指标评估智能体提出的假设的准确性和模型的保真度。整体流程是智能体在给定先验知识的情况下，与环境交互，收集数据，形成假设，然后通过评估模块进行验证。

关键创新：PhysGym的关键创新在于其对先验知识的精确控制。这使得研究人员能够系统地研究先验知识对LLM科学推理能力的影响，并深入了解LLM如何利用先验知识进行学习和推理。此外，PhysGym的交互式环境设计鼓励智能体主动探索和数据收集，更贴近真实的科学发现过程。

关键设计：PhysGym的关键设计包括：1) 物理仿真环境的多样性，涵盖不同的物理现象和复杂度，以评估LLM的泛化能力；2) 先验知识的量化和控制，例如通过调整提供给智能体的物理定律的数量和准确性；3) 评估指标的设计，包括假设的准确性、模型的保真度以及智能体的探索效率等。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，PhysGym能够有效区分不同LLM在不同先验知识和任务复杂度下的性能表现。例如，在某些任务中，提供更丰富的先验知识可以显著提高LLM的假设准确性，而在另一些任务中，过多的先验知识反而会降低LLM的探索效率。这些结果表明，PhysGym为研究LLM的科学推理能力提供了一个有价值的平台。

🎯 应用场景

PhysGym可用于评估和改进LLM在科学发现、工程设计和教育等领域的应用。通过系统地评估LLM的科学推理能力，可以帮助研究人员开发更智能、更可靠的AI系统，用于解决复杂的科学问题，辅助科学研究，并为科学教育提供个性化的学习体验。此外，该平台还可以用于研究人类如何利用先验知识进行科学推理，从而为AI系统的设计提供新的思路。

📄 摘要（原文）

Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce \textsc{PhysGym}, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. \textsc{PhysGym}'s primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. \textsc{PhysGym} provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.