PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research

📄 arXiv: 2610.32575v1 📥 PDF

作者: Qituan Zhang, Guo Chen, Linfeng Zhang, Wenlong Zhang

分类: cs.CL

发布日期: 2026-10-23

💡 一句话要点

提出PHYRD基准以推动理论物理研究的复现与发现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 理论物理 大型语言模型 复现问题 发现问题 基准评估 合成数据 物理推理 FormulaForest

📋 核心要点

  1. 现有方法在理论物理研究中面临复现性差和发现能力不足的挑战。
  2. 本文提出PHYRD基准，通过复现和发现问题来评估理论物理推理能力。
  3. 实验结果显示，使用FormulaForest合成数据显著提升了模型在FrontierScience基准上的表现。

📝 摘要（中文）

大型语言模型和智能体在高级物理研究中展现出显著的能力。本文介绍了PHYRD，一个用于理论物理推理的动态基准，包含63个复现问题和43个发现问题。复现测试验证已发表结果的推导；发现测试则考察修改理论条件后的结果。FormulaForest构建了带有参考解和子问题评分标准的任务。在五个模型上，复现问题的整体准确率范围为49.21%至68.25%，而闭卷发现问题的准确率范围为18.60%至74.42%。使用工具后，四个模型完成了更多发现问题，但仍存在概念错误和缺失论据。此外，实验结果表明FormulaForest作为合成数据的价值。在OpenAI开发的FrontierScience基准上，它将Qwen-35B-A3B模型的准确率从61%提升至72%。

🔬 方法详解

问题定义：本文旨在解决理论物理研究中复现性差和发现能力不足的问题。现有方法在处理复杂的物理推理任务时，常常无法有效验证已发表的结果或探索新的理论条件下的后果。

核心思路：论文提出了PHYRD基准，通过设计复现和发现问题，系统评估模型在理论物理推理中的表现。通过FormulaForest构建任务，提供参考解和评分标准，确保评估的科学性和准确性。

技术框架：PHYRD基准包含两个主要模块：复现模块和发现模块。复现模块专注于验证已发表结果的推导过程，而发现模块则考察在修改理论条件下的推理能力。整个流程包括问题生成、模型评估和结果分析。

关键创新：最重要的创新在于构建了一个动态的基准体系，结合复现和发现问题，填补了现有方法在理论物理领域的空白。与传统方法相比，PHYRD提供了更全面的评估视角。

关键设计：在任务构建中，FormulaForest使用了参考解和子问题评分标准，确保每个问题的评估具有一致性和可比性。此外，模型的评估还考虑了概念错误和论据完整性等因素。

📊 实验亮点

实验结果显示，五个模型在复现问题上的整体准确率从49.21%提升至68.25%，而在闭卷发现问题上的准确率从18.60%提升至74.42%。使用FormulaForest合成数据后，Qwen-35B-A3B模型在FrontierScience基准上的准确率从61%提升至72%，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括基础物理研究、教育和科学传播等。通过提供一个标准化的评估基准，PHYRD可以帮助研究人员更好地理解和验证理论物理中的复杂问题，推动科学研究的进展。未来，随着更多模型的加入，PHYRD有望成为理论物理领域的重要工具。

📄 摘要（原文）

Large language models and agents have shown significant power in advanced physical research. In this paper, We introduce PHYRD, a living benchmark for theoretical-physics reasoning with 63 Reproduce and 43 Discover problems. Reproduce tests derivation of published results; Discover tests consequences of modified theoretical conditions. FormulaForest constructs the tasks with reference solutions and subquestion-level rubrics. Across five models, whole-problem accuracy ranges from 49.21% to 68.25% on Reproduce and from 18.60% to 74.42% on closed-book Discover. With tools, four models complete more Discover problems, but conceptual errors and missing arguments persist. Besides, our experimental results demonstrate the value of FormulaForest as synthetic data. On FrontierScience, a benchmark developed by OpenAI, it raises the accuracy of a Qwen-35B-A3B model from 61% to 72%.