InnovatorBench: Evaluating Agents' Ability to Conduct Innovative LLM Research

📄 arXiv: 2510.27598v2 📥 PDF

作者: Yunze Wu, Dayuan Fu, Weiye Si, Zhen Huang, Mohan Jiang, Keyu Li, Shijie Xia, Jie Sun, Tianze Xu, Xiangkun Hu, Pengrui Lu, Xiaojie Cai, Lyumanshan Ye, Wenhong Zhu, Yang Xiao, Pengfei Liu

分类: cs.AI

发布日期: 2025-10-31 (更新: 2025-11-03)

💡 一句话要点

提出InnovatorBench基准测试，评估AI Agent在LLM研究中的创新能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI Agent LLM研究 基准测试 创新能力评估 ResearchGym ReAct Agent 长时程决策 代码驱动

📋 核心要点

  1. 现有AI Agent基准测试侧重于简化环境中的狭隘技能，无法真实评估其在复杂LLM研究中的创新能力。
  2. InnovatorBench通过构建包含20个任务的基准平台，并提供ResearchGym研究环境，实现对Agent端到端研究能力的评估。
  3. 实验结果表明，前沿模型在代码驱动任务中表现出潜力，但在算法相关任务和长时程决策中存在不足，需要更长时间才能达到最佳性能。

📝 摘要（中文）

为了弥补现有基准测试在简化环境中对AI Agent狭隘技能的考察，本文提出了InnovatorBench，一个用于真实、端到端评估Agent执行大型语言模型（LLM）研究能力的基准平台。它包含20个任务，涵盖数据构建、过滤、增强、损失函数设计、奖励函数设计和支架构建，这些任务需要可运行的工件，并评估正确性、性能、输出质量和不确定性。为了支持Agent操作，开发了ResearchGym，一个研究环境，提供丰富的动作空间、分布式和长时程执行、异步监控和快照保存。同时，实现了一个轻量级的ReAct Agent，它将显式推理与使用前沿模型（如Claude-4、GPT-5、GLM-4.5和Kimi-K2）的可执行规划相结合。实验表明，虽然前沿模型在代码驱动的研究任务中显示出潜力，但它们在脆弱的算法相关任务和长时程决策（如缺乏耐心、资源管理不善和过度依赖基于模板的推理）中表现不佳。此外，Agent需要超过11个小时才能在InnovatorBench上达到最佳性能，突显了基准测试的难度，并展示了InnovatorBench作为下一代基于代码的研究基准的潜力。

🔬 方法详解

问题定义：现有AI Agent基准测试无法充分评估其在真实LLM研究场景下的创新能力。这些基准通常关注于孤立的技能，缺乏对Agent进行端到端研究过程的评估，也难以模拟真实研究中遇到的复杂性和不确定性。因此，需要一个更全面、更贴近实际的基准来评估Agent在LLM研究中的创新能力。

核心思路：本文的核心思路是构建一个包含多种LLM研究任务的基准平台InnovatorBench，并提供一个配套的研究环境ResearchGym，以支持Agent进行端到端的实验和评估。通过模拟真实的研究流程，考察Agent在数据处理、模型设计、实验执行和结果分析等方面的能力。

技术框架：InnovatorBench包含20个任务，涵盖数据构建、过滤、增强、损失函数设计、奖励函数设计和支架构建等多个方面。ResearchGym提供丰富的动作空间，支持分布式和长时程执行，并提供异步监控和快照保存功能。同时，实现了一个基于ReAct架构的轻量级Agent，该Agent结合了显式推理和可执行规划，并使用了前沿的LLM模型（如Claude-4、GPT-5、GLM-4.5和Kimi-K2）。

关键创新：InnovatorBench的关键创新在于其真实性和全面性。它模拟了真实的LLM研究流程，涵盖了多个关键的研究任务，并提供了丰富的研究环境。此外，它还关注Agent的长期决策能力和资源管理能力，这在现有的基准测试中很少被考虑。

关键设计：在任务设计方面，InnovatorBench力求覆盖LLM研究的各个方面，并确保任务的难度和复杂度能够挑战现有的Agent。在ResearchGym的设计方面，重点是提供一个灵活、可扩展和易于使用的研究环境，以支持Agent进行各种实验。ReAct Agent的设计则侧重于将显式推理和可执行规划相结合，以提高Agent的决策能力和问题解决能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，前沿模型在代码驱动的研究任务中表现出潜力，但在算法相关任务和长时程决策中存在不足。Agent需要超过11个小时才能在InnovatorBench上达到最佳性能，突显了基准测试的难度。这些结果表明，InnovatorBench能够有效评估Agent在LLM研究中的能力，并为未来的研究提供有价值的参考。

🎯 应用场景

InnovatorBench可用于评估和比较不同AI Agent在LLM研究中的创新能力，促进Agent在科学发现领域的应用。通过该基准，可以发现现有Agent的不足，并指导Agent的改进和优化。此外，该基准还可以用于开发新的Agent架构和算法，加速LLM研究的自动化进程。

📄 摘要（原文）

AI agents could accelerate scientific discovery by automating hypothesis formation, experiment design, coding, execution, and analysis, yet existing benchmarks probe narrow skills in simplified settings. To address this gap, we introduce InnovatorBench, a benchmark-platform pair for realistic, end-to-end assessment of agents performing Large Language Model (LLM) research. It comprises 20 tasks spanning Data Construction, Filtering, Augmentation, Loss Design, Reward Design, and Scaffold Construction, which require runnable artifacts and assessment of correctness, performance, output quality, and uncertainty. To support agent operation, we develop ResearchGym, a research environment offering rich action spaces, distributed and long-horizon execution, asynchronous monitoring, and snapshot saving. We also implement a lightweight ReAct agent that couples explicit reasoning with executable planning using frontier models such as Claude-4, GPT-5, GLM-4.5, and Kimi-K2. Our experiments demonstrate that while frontier models show promise in code-driven research tasks, they struggle with fragile algorithm-related tasks and long-horizon decision making, such as impatience, poor resource management, and overreliance on template-based reasoning. Furthermore, agents require over 11 hours to achieve their best performance on InnovatorBench, underscoring the benchmark's difficulty and showing the potential of InnovatorBench to be the next generation of code-based research benchmark.