SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks

📄 arXiv: 2610.32441v1 📥 PDF

作者: Tianyun Zhong, Wei Wang, Jialin Li, Jianhong Tu, Liyao Li, Chuqiao Kuang, Tianshi Zheng, Songchi Zhou, Weiqi Zhai, Qile Jin, Jiajia Li, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Shiwei Ye, Bing Zhao, Hu Wei, Lin Qu, Xianpei Han

分类: cs.CL

发布日期: 2026-10-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出SCI-AGENT-EXAM以系统评估科学研究任务中的智能体能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学研究 智能体评估 任务基准 混合评估协议 执行效率 能力分析

📋 核心要点

  1. 现有基准测试无法全面评估大型语言模型智能体在科学研究中的多样化能力，限制了对其优缺点的理解。
  2. 论文提出SCI-AGENT-EXAM基准，涵盖120个任务，结合可执行和文本工件的评估，提供全面的能力分析。
  3. 实验结果显示，10个前沿LLM智能体之间存在显著性能差距，GPT-6 Astra的得分为80.9，但成功率仅为26.0%。

📝 摘要（中文）

大型语言模型（LLM）智能体在支持科学工作流程方面的能力日益增强，但其在多样化研究活动中的表现仍难以系统评估。现有基准测试往往集中于特定的科学能力或任务类型，限制了对科学智能体在现实研究工作流程中的优缺点的全面表征。我们提出了SCI-AGENT-EXAM，这是一个以工作流程为导向的基准，包含了120个专家策划的任务，涵盖11个科学领域和7种研究任务类型。每个任务要求同时提供可执行的工件（如代码和脚本）和文本工件（如报告和解释）。为了评估异构任务输出，我们开发了一种混合评估协议，结合了对可执行工件的确定性程序验证和经过校准的专家验证的LLM评判文本工件。实验显示，GPT-6 Astra的整体得分最高为80.9，但仅有26.0%的运行超过0.95的成功阈值。

🔬 方法详解

问题定义：论文旨在解决现有基准测试无法系统评估LLM智能体在科学研究任务中的能力这一问题，现有方法往往局限于特定能力或任务类型，缺乏全面性。

核心思路：提出SCI-AGENT-EXAM基准，设计了120个任务，涵盖多种科学领域和任务类型，结合可执行和文本工件的评估，旨在全面表征智能体的能力。

技术框架：整体架构包括任务设计、混合评估协议和能力分析三个主要模块。任务设计基于科学工作流任务分类法（SWTT），评估协议结合了程序验证和专家评判。

关键创新：最重要的创新在于引入了混合评估协议，既考虑了可执行工件的确定性验证，又结合了文本工件的专家验证，提供了更全面的评估视角。

关键设计：在评估过程中，采用了校准的LLM作为文本工件的评判工具，确保评估的准确性和可靠性，同时对执行轨迹进行了分析，以评估智能体的解决方案稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，10个前沿LLM智能体的性能差异显著，GPT-6 Astra的整体得分为80.9，但仅有26.0%的运行超过0.95的成功阈值，揭示了智能体在不同科学任务类型中的能力差异和执行效率的变化。

🎯 应用场景

该研究的潜在应用领域包括科学研究、教育和智能助手等。通过系统评估智能体在科学任务中的表现，可以为未来的研究和开发提供指导，推动智能体在科学工作流程中的有效应用，提升研究效率和成果质量。

📄 摘要（原文）

Large language model (LLM) agents are increasingly capable of supporting scientific workflows, but their capabilities across diverse research activities remain difficult to assess systematically. Existing benchmarks often focus on selected scientific capabilities or task types, limiting a comprehensive characterization of scientific agents' strengths and weaknesses in realistic research workflows. We introduce SCI-AGENT-EXAM, a workflow-oriented benchmark comprising 120 expert-curated tasks across 11 scientific fields and 7 research task types defined by the Scientific Workflow Task Taxonomy (SWTT). Each task requires both executable artifacts (e.g., code and scripts) and textual artifacts (e.g., reports and explanations). To evaluate the heterogeneous task outputs, we develop a hybrid evaluation protocol combining deterministic programmatic verification for executable artifacts with a calibrated, expert-validated LLM-based judge for textual artifacts. Beyond outcome assessment, we analyze progress and solution stability along execution trajectories to characterize how agents reach their final results. Experiments with 10 frontier LLM agents reveal substantial performance gaps: GPT-6 Astra achieves the highest overall score of 80.9, yet only 26.0% of its runs exceed the 0.95 success threshold. Further analyses uncover distinct capability profiles across scientific task types and substantial variation in execution efficiency and stability. Our code and data are available at https://github.com/SKYLENAGE-AI/Sci-Agent-Exam.