How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?

📄 arXiv: 2609.40303v1 📥 PDF

作者: Kirill Brilliantov, Alejandro Hernández-Cano, Emmanuel Abbé

分类: cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出简化编码代理的架构以优化自主机器学习工程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主机器学习 编码代理 复杂架构 性能优化 大型语言模型

📋 核心要点

  1. 现有的自主机器学习工程代理依赖于复杂的架构，导致效率低下和性能停滞。
  2. 论文提出通过使用简化的编码代理，直接访问执行环境，从而提高性能和效率。
  3. 实验结果表明，最小化的编码代理在相同条件下优于复杂架构，强调基础模型的重要性。

📝 摘要（中文）

近年来，自主机器学习工程（MLE）代理在公共排行榜上取得了显著进展。现代MLE代理通常依赖于复杂的多代理协调器和专用检索子代理等架构。然而，使用更原始但改进的编码代理的研究却相对较少。本文发现，在相同的时间预算和相同的LLM基础上，开源的最先进架构并未优于单一会话的最小化编码代理基线，表明基础模型是性能的主要驱动因素。通过一系列大规模系统消融研究，作者认为在编码代理设置中，复杂的机械层变得多余。最终得出结论，围绕强模型构建手工架构的努力对当前MLE基准的回报较低。

🔬 方法详解

问题定义：本文旨在解决当前自主机器学习工程中复杂架构的低效问题，现有方法在长周期内的性能停滞和对大型语言模型（LLM）原语的依赖是主要痛点。

核心思路：论文提出使用更原始但改进的编码代理，允许LLM直接访问执行环境，从而简化架构并提高性能。这样的设计旨在减少不必要的复杂性，专注于模型本身的能力。

技术框架：整体架构包括一个最小化的编码代理，能够通过读取、写入和bash原语直接与执行环境交互。研究通过系统消融实验评估不同架构的性能。

关键创新：本研究的主要创新在于证明复杂的机械层在编码代理设置中是多余的，强调了基础模型在性能提升中的核心作用。与现有方法相比，简化架构能够更有效地利用LLM的能力。

关键设计：在实验中，作者设置了相同的时间预算和相同的LLM基础，采用了标准的性能评估指标，确保结果的可比性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在相同的时间预算和LLM基础下，最小化的编码代理在性能上优于复杂的开源架构，表明基础模型是性能提升的关键驱动因素。这一发现为未来的MLE研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自动化软件开发、智能系统设计和机器学习模型优化等。通过简化架构，能够降低开发成本，提高模型的实际应用效率，推动自主机器学习工程的进一步发展。

📄 摘要（原文）

Recent autonomous machine learning engineering (MLE) agents have made significant progress on public leaderboards. Often motivated by progress stagnation over long-horizon cycles and limited Large Language Model (LLM) primitives, modern MLE agents are deployed on top of increasingly elaborate machinery: multi-agent orchestrators, dedicated retrieval subagents, and more. While such harnesses expand, the use of more primitive but improved coding agents - where LLMs have direct access to the execution environment through read, write, and bash primitives - has received little attention in the field. In this paper we find that, under an equal time budget and the same frontier LLM backbone, open-source state-of-the-art harnesses provide no advantages over a single session of a minimal-harness coding agent baseline, pointing to the backbone as the primary driver for performance. Via a series of large-scale systematic ablation studies, we argue that the machinery layers become redundant in the coding agent setting. We conclude that the effort spent elaborating hand-crafted harnesses around strong models yields poor returns for current MLE benchmarks.