ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

📄 arXiv: 2610.00906v1 📥 PDF

作者: Sungho Park, Wonjoong Kim, Jue Zhang, Wook-Shin Han, Pengfei Gao, Chanyoung Park, Yongqiang Yao, Rao Fu, Elsie Nallipogu, Qingwei Lin, Victor Rühle

分类: cs.AI, cs.CL, cs.LG, cs.MA, cs.SE

发布日期: 2026-10-01

备注: 37 pages, 16 figures. Project website and code: https://autosaddler-projectpage.github.io/activesaddler/

💡 一句话要点

提出ActiveSaddler以解决自动化课程学习中的优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动化优化 课程学习 大语言模型 动态调整 失败模式抽象

📋 核心要点

  1. 现有的马具优化方法主要集中在如何更新马具，而固定了生成反馈的训练场景，导致优化效果受限。
  2. 本文提出ActiveSaddler，通过将演变的课程视为非平稳赌博机，动态调整优化目标，适应性地平衡已知弱点与新场景探索。
  3. 实验结果显示，ActiveSaddler在GAIA2和Terminal-Bench 2.0上分别提高了4.4和7.5个百分点的测试通过率，验证了其有效性。

📝 摘要（中文）

自动化的马具优化能够通过执行反馈迭代更新大语言模型（LLM）代理的提示、工具接口和控制逻辑。然而，现有方法主要优化马具更新的方式，而在很大程度上固定了生成反馈的训练场景。随着马具的演变，最有助于进一步优化的场景可能会发生变化，因此训练课程本身也应随之适应。本文将这一缺失的马具优化维度表述为自动化课程学习问题，并提出了ActiveSaddler。该方法将演变的课程建模为具有动态优化目标的非平稳赌博机，抽象出可重用的失败模式，并估计进一步针对每种模式的潜在学习进展，适应性地平衡已知弱点的重访与新场景的探索。实验结果表明，ActiveSaddler在GAIA2和Terminal-Bench 2.0上持续发现更强的马具，显著提高了测试通过率。

🔬 方法详解

问题定义：本文解决的是在马具优化中，训练场景固定导致的优化效果受限的问题。现有方法未能动态调整训练场景，限制了学习的灵活性和适应性。

核心思路：ActiveSaddler的核心思路是将演变的课程建模为非平稳赌博机，动态生成优化目标，并通过抽象失败模式来指导学习过程。这种设计使得优化过程能够根据当前的学习状态进行调整。

技术框架：整体架构包括三个主要模块：失败模式抽象、优化目标动态生成和课程适应性调整。首先，系统识别并抽象出重复出现的失败模式；其次，基于这些模式动态生成优化目标；最后，系统根据学习进展调整课程，以平衡已知弱点和新场景的探索。

关键创新：最重要的技术创新在于将课程学习与马具优化结合，形成一个动态适应的优化框架。这一方法与现有的静态场景优化方法本质上不同，能够更好地应对学习过程中的变化。

关键设计：在参数设置上，系统动态调整优化目标的优先级，并使用特定的损失函数来评估每种失败模式的学习进展。此外，网络结构采用了适应性调整机制，以支持实时更新和反馈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ActiveSaddler在GAIA2和Terminal-Bench 2.0上分别提高了4.4和7.5个百分点的测试通过率，相较于使用固定场景顺序的同类马具优化器，显示出显著的性能提升。这些结果验证了动态构建优化目标和适应性课程学习的重要性。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的训练与优化、智能代理的开发以及自动化系统的反馈学习。通过动态调整训练课程，ActiveSaddler能够提高模型的适应性和学习效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Automated harness optimization can substantially improve LLM agents by iteratively updating their prompts, tool interfaces, and control logic from execution feedback. However, existing methods primarily optimize how the harness is updated while largely fixing which training scenarios generate the feedback that drives those updates. As the harness evolves, the scenarios most useful for further optimization can change, suggesting that the training curriculum itself should adapt alongside the harness. We formulate this missing dimension of harness optimization as an automated curriculum learning problem and introduce ActiveSaddler. ActiveSaddler models the evolving curriculum as a non-stationary bandit with dynamically instantiated optimization targets. It abstracts recurring failures into reusable failure-pattern arms, estimates the potential learning progress from further targeting each pattern, and adaptively balances revisiting known weaknesses with exploring unseen scenarios for new ones. Optimization outcomes continually update both the set of discovered failure patterns and their priorities, allowing the curriculum to co-evolve with the harness. Experiments on GAIA2 and Terminal-Bench 2.0 show that ActiveSaddler consistently discovers stronger harnesses, improving test Pass@1 by 4.4 and 7.5 percentage points over the same harness optimizer using a scenario order fixed before optimization, respectively. Ablations further show that these gains depend on dynamically constructing optimization targets, estimating their evolving utility, and balancing continued optimization with new failure discovery. Together, these results establish automated curriculum learning as a new crucial optimization dimension for harness optimization.