MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

📄 arXiv: 2610.22344v1 📥 PDF

作者: Shangheng Du, Jinxin Shi, Shuaiyu Zhang, Yiming Wu, Junpeng Zhao, Shiyang Feng, Xin Li, Liang He, Xiangchao Yan, Bo Zhang

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-15

备注: Code: https://github.com/InternScience/MLExpert Model: https://huggingface.co/InternScience/MLExpert

💡 一句话要点

提出MLExpert以解决自主机器学习工程优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主机器学习 长时间优化 模型导向实验 强化学习 混合专家模型

📋 核心要点

  1. 现有的机器学习工程系统在长时间实验中面临反馈选择和优化策略调整的挑战，导致实验成本高昂。
  2. 本文提出了一种后训练方法，通过自主长时间MLE优化，利用模型导向的交互和结果引导的监督来提升性能。
  3. 实验结果显示，MLExpert在多个基准测试中显著提升了性能，尤其在MLE-Bench Lite上平均奖牌率提高了34.8%。

📝 摘要（中文）

大型语言模型（LLMs）正在从辅助科学研究和工程向自主开发和改进AI系统扩展，推动AI为AI（AI4AI）作为递归自我改进（RSI）的路径。工作流驱动的机器学习工程（MLE）系统通过复杂的编排管理长时间实验，为此提供了实际路径。本文提出了一种后训练方法用于自主长时间MLE优化，并应用于训练MLExpert，一个35B的混合专家模型。通过Kaggle-MLE工厂构建可执行任务和模型导向实验的交互工具，采用层次化的代理SFT将通用工具使用和编码能力转移到MLE中。实验结果表明，MLExpert在MLE-Bench Lite上的平均奖牌率从37.9%提升至72.7%，表现与更大前沿模型相当。

🔬 方法详解

问题定义：本文旨在解决现有机器学习工程系统在长时间实验中反馈选择和优化策略调整的不足，导致实验成本高昂和效率低下的问题。

核心思路：提出了一种后训练方法，通过自主长时间MLE优化，利用模型导向的交互和结果引导的监督来提升模型的优化能力。

技术框架：整体架构包括Kaggle-MLE工厂用于构建可执行任务，交互工具用于模型导向实验，以及层次化的代理SFT用于能力转移。

关键创新：最重要的技术创新在于引入了窗口交互强化学习（WIRL），将多轮决策视为执行窗口，并基于共享结果奖励进行优化，与现有方法相比，显著提高了决策效率。

关键设计：采用了异步收集和策略修正机制，支持在轨迹结束前进行策略更新，此外，设计了特定的损失函数和网络结构以增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MLE-Bench Lite上，MLExpert的平均奖牌率从37.9%提升至72.7%，显示出显著的性能提升。此外，MLExpert在NatureBench Lite和其他优化任务上的表现也得到了增强，表明其优化能力具有良好的泛化性。

🎯 应用场景

该研究的潜在应用领域包括自动化机器学习工程、AI系统的自我优化以及复杂实验的管理。通过提升机器学习模型的自主优化能力，未来可能在AI开发和研究中实现更高的效率和更低的成本。

📄 摘要（原文）

Large language models (LLMs) are expanding from assisting scientific research and engineering to autonomously developing and improving AI systems, advancing AI for AI (AI4AI) as a pathway toward recursive self-improvement (RSI). Workflow-driven machine learning engineering (MLE) systems provide a practical path toward this pursuit through complex orchestration that manages long-horizon experimentation, while recent MLE systems adopt model-directed interaction, allowing models to autonomously organize experiments and adapt optimization strategies based on execution feedback. However, feedback from each experiment reflects several preceding decisions, and a long MLE run contains many such costly experiments. Training must therefore select useful supervision from long interaction trajectories and learn from intermediate outcomes. We propose a post-training method for autonomous long-horizon MLE optimization and apply it to train MLExpert, a 35B Mixture-of-Experts agentic model. We design the Kaggle-MLE Factory to construct executable tasks and an interaction harness for model-directed experimentation. Hierarchical agentic SFT transfers general tool-use and coding capabilities to MLE through outcome-guided supervision. Windowed Interaction RL (WIRL) treats the multi-turn decisions between successive experiment results as an execution window and assigns it a shared outcome-based reward. Asynchronous collection and policy correction support policy updates before the trajectory ends. On MLE-Bench Lite, MLExpert improves the average medal rate of the base model from 37.9% to 72.7%, achieving performance comparable to larger frontier models such as Kimi-K3 and GLM-5.3. Further experiments show that MLExpert improves performance on NatureBench Lite, agent scaffold optimization, and algorithm optimization, suggesting that the learned optimization capability generalizes to other tasks.