AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

📄 arXiv: 2507.08038v1 📥 PDF

作者: Talor Abramovich, Gal Chechik

分类: cs.CL, cs.AI

发布日期: 2025-07-09

💡 一句话要点

AblationBench：用于评估AI辅助消融实验规划的基准测试套件

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 消融实验 自动化实验设计 语言模型 基准测试 AI辅助研究

📋 核心要点

  1. 经验性AI研究中消融实验的设计至关重要，但现有方法缺乏对AI智能体在该任务中表现的系统评估。
  2. AblationBench通过提供两个任务（AuthorAblation和ReviewerAblation）来评估AI在消融实验规划中的能力。
  3. 实验结果表明，即使是前沿的语言模型在AblationBench上仍然面临挑战，链式思考提示优于现有的智能体方法。

📝 摘要（中文）

本文介绍AblationBench，一个用于评估AI智能体在经验性AI研究中进行消融实验规划任务的基准测试套件。该套件包含两个任务：AuthorAblation，旨在帮助作者基于方法部分提出消融实验，包含83个实例；ReviewerAblation，旨在帮助审稿人发现完整论文中缺失的消融实验，包含350个实例。针对这两个任务，我们开发了基于语言模型的自动评估框架。使用前沿语言模型的实验表明，这些任务仍然具有挑战性，性能最佳的语言模型系统平均仅能识别出29%的原始消融实验。最后，我们分析了当前语言模型在这些任务上的局限性，发现链式思考提示优于目前基于智能体的方法。

🔬 方法详解

问题定义：论文旨在解决经验性AI研究中，如何自动化或辅助消融实验设计的问题。现有方法依赖人工设计，效率低且容易遗漏关键的消融实验。语言模型在科学研究中的应用日益广泛，但缺乏针对消融实验规划能力的系统评估。

核心思路：论文的核心思路是构建一个基准测试套件AblationBench，用于评估语言模型在消融实验规划任务中的表现。通过定义两个具体的任务（AuthorAblation和ReviewerAblation），并提供自动评估框架，为研究人员提供了一个标准化的评估平台。

技术框架：AblationBench包含两个任务：AuthorAblation和ReviewerAblation。AuthorAblation任务要求模型根据方法描述提出消融实验；ReviewerAblation任务要求模型在完整论文中找出缺失的消融实验。针对每个任务，论文开发了基于语言模型的自动评估框架，用于评估模型生成的消融实验的质量。

关键创新：AblationBench是第一个专门针对AI辅助消融实验规划的基准测试套件。它提供了一个标准化的评估平台，可以促进该领域的研究进展。此外，论文还发现链式思考提示在消融实验规划任务中优于现有的智能体方法。

关键设计：AuthorAblation任务包含83个实例，ReviewerAblation任务包含350个实例。自动评估框架基于语言模型，通过比较模型生成的消融实验与原始论文中的消融实验来评估模型的性能。论文使用了前沿的语言模型进行实验，并分析了模型的局限性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，即使是前沿的语言模型在AblationBench上仍然面临挑战，性能最佳的语言模型系统平均仅能识别出29%的原始消融实验。此外，链式思考提示在消融实验规划任务中优于现有的智能体方法，表明更精细的提示工程可以显著提升语言模型在该任务中的表现。

🎯 应用场景

AblationBench可以应用于自动化实验设计、AI辅助科学研究等领域。它可以帮助研究人员更高效地设计消融实验，减少人工成本，并提高实验的完整性和可靠性。未来，AblationBench可以扩展到其他类型的实验设计任务，例如超参数优化、模型选择等。

📄 摘要（原文）

Autonomous agents built on language models (LMs) are showing increasing popularity in many fields, including scientific research. AI co-scientists aim to support or automate parts of the research process using these agents. A key component of empirical AI research is the design of ablation experiments. To this end, we introduce AblationBench, a benchmark suite for evaluating agents on ablation planning tasks in empirical AI research. It includes two tasks: AuthorAblation, which helps authors propose ablation experiments based on a method section and contains 83 instances, and ReviewerAblation, which helps reviewers find missing ablations in a full paper and contains 350 instances. For both tasks, we develop LM-based judges that serve as an automatic evaluation framework. Our experiments with frontier LMs show that these tasks remain challenging, with the best-performing LM system identifying only 29% of the original ablations on average. Lastly, we analyze the limitations of current LMs on these tasks, and find that chain-of-thought prompting outperforms the currently existing agent-based approach.