Can LLMs predict the outcomes of machine learning experiments?

📄 arXiv: 2610.22599v1 📥 PDF

作者: Ayush Bansal, Aldo Pareja, Sean Klein, Serge Didenko, Artem Lukoianov

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-15

备注: 15 pages, 9 figures, 1 table. Dataset: https://github.com/autolab-ai/EV-estimation

💡 一句话要点

评估大型语言模型在机器学习实验结果预测中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器学习实验 结果预测 递归自我改进 实验设计 数据集构建 模型评估

📋 核心要点

  1. 当前大型语言模型在预测机器学习实验结果方面存在准确性不足的问题，尤其是在复杂的设计选择中。
  2. 本文通过构建数据集并评估五个前沿LLM的预测能力，探索LLM在自生成实验想法的影响预测中的有效性。
  3. 实验结果表明，LLM的预测能力优于随机猜测，但准确性仍然有限，且在不同任务上的表现差异显著。

📝 摘要（中文）

随着人工智能的进步，递归自我改进（RSI）变得愈发可行。大型语言模型（LLMs）能够提出、选择并运行机器学习（ML）实验。然而，ML设计选择的空间非常广泛，因此LLM在提出实验时需要具备可靠的直觉，以判断实验是否值得进行。本文通过评估当前前沿LLM在自生成ML实验想法的影响预测准确性，构建了一个包含288个LLM提出的想法的数据集，并对五个前沿LLM进行评估。结果显示，LLM的预测优于随机猜测，但准确性仍然有限，最佳模型的解释力仅为49%。此外，所有模型普遍低估了变化的幅度，预测质量在不同任务间差异显著。最后，编码工具的选择对结果影响不大，且未发现自我偏好现象。整体而言，当前LLM在判断ML想法的有效性方面具有一定的直觉，但仍然有限。我们发布了数据集以支持进一步研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在机器学习实验结果预测中的准确性不足问题。现有方法在面对复杂的实验设计选择时，缺乏有效的评估机制，导致预测结果的可靠性较低。

核心思路：论文通过构建一个包含288个LLM提出的实验想法的数据集，评估五个前沿LLM在预测这些想法的实际影响时的表现，以此来测量LLM的直觉能力。

技术框架：研究的整体架构包括数据集构建、LLM模型选择、实验设计和结果评估四个主要模块。首先，收集和整理LLM提出的实验想法，然后对每个想法进行预测，最后与实际训练结果进行对比分析。

关键创新：最重要的创新点在于通过系统性地评估LLM在自生成实验想法的预测能力，揭示了当前LLM在这一领域的局限性和潜在的改进方向。与现有方法相比，本文提供了更为全面的实验设计和评估框架。

关键设计：在实验中，选择了五个前沿LLM模型进行比较，使用了标准化的提示语来引导模型进行预测。实验结果的评估采用了R²值作为主要指标，确保了结果的可比性和可靠性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，LLM的预测能力显著优于随机猜测，最佳模型Claude Opus 5.5的R²值达到了0.49，表明其能够解释近一半的结果方差。然而，所有模型普遍低估了变化的幅度，且不同任务间的预测质量差异较大，显示出LLM在特定任务上的局限性。

🎯 应用场景

该研究的潜在应用领域包括自动化机器学习、智能实验设计和AI辅助研究等。通过提高LLM在实验结果预测中的准确性，可以加速机器学习模型的开发和优化，降低实验成本，提升研究效率。未来，随着LLM能力的提升，可能会在更多复杂的科学研究中发挥重要作用。

📄 摘要（原文）

Recent advances in AI make Recursive Self-Improvement (RSI) increasingly plausible. Large Language Models (LLMs) can already propose, select, and run Machine Learning (ML) experiments. However, the space of possible design choices in ML is vast. An LLM that proposes an experiment needs a reliable intuition of whether it is worth running given the timing constraints of long training runs. In this work, we measure such intuition in current frontier LLMs by evaluating how accurately they predict the impact of self-generated ML experiment ideas before these are put into training runs. To this end, we construct a dataset of 288 LLM-proposed ideas on eight MLE-bench tasks. We then prompt five frontier LLMs (GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3, and GLM-5.3) to predict the impact of each idea and compare their predictions with the actual outcomes after training. We report four main findings. First, LLM predictions are substantially better than random chance but far from accurate: even the best model, Claude Opus 5.5, explains only half of the variance in outcomes (R^2 = 0.49). Second, we notice that all tested models systematically underestimate the magnitude of the changes. Third, prediction quality varies widely across tasks. Finally, the choice of the coding harness that actually implements the ideas has little effect on outcomes, and we find no evidence of self-preference. Higher reasoning settings and additional context lead to modest gains. Overall, our results show that current LLMs have useful but limited intuition about which ML ideas will work. We release our dataset to support further study.