Sci$Π$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents

📄 arXiv: 2610.21082v1 📥 PDF

作者: Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang

分类: cs.AI

发布日期: 2026-10-15

💡 一句话要点

构建Sci$Π$vot基准以评估科学研究中的判断能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学判断 大型语言模型 基准评估 自动化研究 人类修正

📋 核心要点

  1. 现有的LLM代理在科学研究中缺乏可靠的判断能力，导致决策质量不高。
  2. 本文提出Sci$Π$vot基准，通过人类修正的案例来评估LLM在科学判断中的表现。
  3. 实验结果显示，LLM在中等推理努力下的表现低于人类研究者，且在使用项目记录时准确性下降。

📝 摘要（中文）

大型语言模型（LLM）代理可以在几个月内进行科学实验，但可靠的自主研究需要科学判断。评估科学判断的难度在于研究决策的开放性和项目背景的依赖性。本文构建了Sci$Π$vot，一个基于人类修正的248案例科学判断基准，涵盖六个月的研究记录。通过比较LLM与人类的表现，研究发现，在中等推理努力下，模型系统性地偏好原始LLM计划，且在可用项目记录的情况下，模型的准确性普遍低于人类研究者。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在科学研究中判断能力不足的问题。现有方法在开放性决策和项目背景依赖性方面存在挑战，导致LLM的判断不够可靠。

核心思路：通过构建Sci$Π$vot基准，利用人类修正的案例来系统性地评估LLM的科学判断能力。该基准为LLM提供了真实的研究背景，以便进行有效的比较。

技术框架：整体架构包括数据收集、案例构建和性能评估三个主要模块。首先，收集六个月的研究记录，然后构建248个案例，最后通过比较LLM与人类的判断进行评估。

关键创新：最重要的创新点在于构建了一个基于人类修正的科学判断基准，能够系统性地评估LLM的判断能力，与现有方法相比，提供了更为真实的评估环境。

关键设计：在实验中，设置了不同的推理努力水平，并使用项目记录作为上下文。模型的准确性在不同条件下进行了评估，发现中等推理努力下的表现普遍低于人类研究者。实验还探讨了重考虑对准确性的影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在中等推理努力下，LLM模型的最高准确率为63.5%，而新手研究者的准确率为73.4%。四分之五的前沿模型在选定案例中的表现低于随机猜测，且在使用项目记录时，模型的准确性普遍下降，重考虑并未显著改善整体准确性。

🎯 应用场景

该研究的潜在应用领域包括科学研究自动化、智能实验室管理和科研决策支持系统。通过提升LLM的判断能力，能够在更少的人类干预下实现高效的科学研究，推动科研的智能化进程。未来，该基准可能成为评估科研AI系统的重要标准。

📄 摘要（原文）

Large language model (LLM) agents can keep scientific experiments running for months with little human supervision, but reliable autonomous research also requires scientific judgment. Evaluating scientific judgment is difficult because research decisions are open-ended and depend on project context. We construct Sci$Π$vot, a 248-case benchmark of scientific judgment based on human corrections. The benchmark draws on records from six months of research in which senior researchers ran LLM agents on 26 projects across six scientific fields and repeatedly intervened to correct the agents' research judgments. In each case, an agent chooses between the original LLM plan and the human-corrected alternative, using only the project record available before the correction as context. We compare LLM and human performance and examine the effects of reasoning effort, access to the project record, and reconsideration. At medium reasoning effort with the project record, models systematically prefer the original LLM plan over the human-corrected alternative. Four of five frontier models perform below chance on the selected cases. The highest accuracy in the project condition across the tested models and reasoning effort settings is 63.5%, compared with 73.4% for fresh researchers. At medium effort, every model achieves lower accuracy with the project record than without it, and reconsideration does not consistently improve overall accuracy. Even with a human-corrected alternative available, frontier models struggle with the selected research decisions, while Sci$Π$vot supports systematic evaluation of scientific judgment for LLM agents.