PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving

📄 arXiv: 2503.21821v1 📥 PDF

作者: Kaiyue Feng, Yilun Zhao, Yixin Liu, Tianyu Yang, Chen Zhao, John Sous, Arman Cohan

分类: cs.AI

发布日期: 2025-03-26

💡 一句话要点

提出PHYSICS：用于评估大模型在大学物理问题求解能力的综合基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理问题求解 大型语言模型 基准数据集 自动化评估 检索增强生成

📋 核心要点

  1. 现有大模型在解决需要高级物理知识和数学推理的大学物理问题方面存在明显不足。
  2. 构建了包含1297个专家标注问题的数据集PHYSICS，覆盖六个核心物理领域，并设计了自动化评估系统。
  3. 实验表明，即使是最先进的模型在PHYSICS上的准确率也仅为59.9%，揭示了其在科学问题求解上的局限性。

📝 摘要（中文）

我们提出了PHYSICS，一个用于评估大学水平物理问题求解能力的综合基准。它包含1297个由专家标注的问题，涵盖六个核心领域：经典力学、量子力学、热力学与统计力学、电磁学、原子物理学和光学。每个问题都需要高级物理知识和数学推理。我们开发了一个强大的自动化评估系统，用于精确和可靠的验证。对领先的基础模型的评估揭示了显著的局限性。即使是最先进的模型o3-mini，也仅达到59.9%的准确率，突出了解决高水平科学问题的重大挑战。通过全面的错误分析、探索多样化的提示策略以及基于检索增强生成（RAG）的知识增强，我们确定了需要改进的关键领域，为未来的进步奠定了基础。

🔬 方法详解

问题定义：论文旨在评估和提升大型语言模型（LLMs）在解决大学水平物理问题方面的能力。现有方法，即直接应用LLMs，在处理需要复杂物理知识和数学推理的问题时表现不佳，缺乏针对物理领域的专业知识和推理能力。

核心思路：论文的核心思路是构建一个高质量的物理问题数据集（PHYSICS）和一个可靠的评估框架，以此来系统性地评估LLMs的性能，并通过错误分析、提示工程和知识增强等手段，探索提升LLMs物理问题求解能力的方法。

技术框架：该研究的技术框架主要包括以下几个部分：1) 构建PHYSICS数据集，涵盖六个核心物理领域；2) 开发自动化评估系统，用于精确评估模型性能；3) 使用不同的prompting策略，例如zero-shot, few-shot等，探索最佳prompting方式；4) 采用检索增强生成（RAG）方法，将外部知识库引入模型，提升模型知识水平；5) 对模型错误进行分析，找出模型弱点，为后续改进提供方向。

关键创新：该研究的关键创新在于构建了一个专门针对大学物理问题求解的综合性基准数据集PHYSICS，并设计了相应的自动化评估系统。此外，该研究系统性地探索了不同的prompting策略和知识增强方法，为提升LLMs在科学问题求解方面的能力提供了有价值的经验。

关键设计：PHYSICS数据集包含1297个问题，覆盖经典力学、量子力学、热力学与统计力学、电磁学、原子物理学和光学六个领域。评估系统采用精确匹配和语义相似度等指标，确保评估的准确性和可靠性。RAG方法使用向量数据库存储外部知识，并通过相似度检索将相关知识片段提供给模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最先进的模型o3-mini在PHYSICS数据集上的准确率也仅为59.9%，远低于人类专家水平。通过RAG方法进行知识增强后，模型性能得到一定提升，但仍存在较大改进空间。错误分析显示，模型在理解复杂物理概念和进行精确数学推理方面存在明显不足。

🎯 应用场景

该研究成果可应用于开发更智能的物理教育工具，辅助学生学习和理解物理概念。此外，该基准数据集和评估方法可以促进大型语言模型在科学领域的应用，例如科学研究、工程设计等，推动人工智能在科学发现中的作用。

📄 摘要（原文）

We introduce PHYSICS, a comprehensive benchmark for university-level physics problem solving. It contains 1297 expert-annotated problems covering six core areas: classical mechanics, quantum mechanics, thermodynamics and statistical mechanics, electromagnetism, atomic physics, and optics. Each problem requires advanced physics knowledge and mathematical reasoning. We develop a robust automated evaluation system for precise and reliable validation. Our evaluation of leading foundation models reveals substantial limitations. Even the most advanced model, o3-mini, achieves only 59.9% accuracy, highlighting significant challenges in solving high-level scientific problems. Through comprehensive error analysis, exploration of diverse prompting strategies, and Retrieval-Augmented Generation (RAG)-based knowledge augmentation, we identify key areas for improvement, laying the foundation for future advancements.