Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
作者: Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, LeoweiLiang
分类: cs.AI
发布日期: 2026-07-09
备注: 17 pages
💡 一句话要点
提出Long-Horizon-Terminal-Bench以解决长时间终端任务评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务 终端基准 密集奖励 多模态分析 软件工程 科学计算 代理评估
📋 核心要点
- 现有的终端基准主要关注短期任务，忽视了长时间任务的复杂性和中间进展的评估。
- Long-Horizon-Terminal-Bench通过将任务细分为多个子任务，提供密集的中间奖励，允许对代理的逐步进展进行评估。
- 实验结果显示，当前最强模型在高标准下的通过率仅为15.2%，表明在长时间任务处理上仍有显著改进空间。
📝 摘要（中文）
人工智能代理已经能够自主完成短期、明确指定的任务。然而，现有的终端基准主要集中在简单问题上，忽视了中间进展和部分解决方案，导致稀疏的奖励信号和不完整的代理能力评估。本文提出了Long-Horizon-Terminal-Bench，这是一个包含46个长时间任务的终端基准，涵盖实验重现、软件工程、多模态分析、互动游戏和科学计算等九个类别。每个任务都被细分为精细的分级子任务，允许密集的中间奖励和部分信用，从而更全面地评估代理的能力。实验表明，当前模型在该基准上的表现仍有提升空间。
🔬 方法详解
问题定义：现有的终端基准主要集中在简单的短期任务上，忽视了长时间任务的复杂性和中间进展的评估，导致稀疏的奖励信号和不完整的能力评估。
核心思路：本文提出Long-Horizon-Terminal-Bench，通过将任务细分为多个精细的子任务，提供密集的中间奖励和部分信用，从而更全面地评估代理的能力，特别是在长时间任务中的表现。
技术框架：该框架包含46个长时间任务，涵盖九个类别。每个任务都有参考解决方案或模拟引擎，并被分解为多个子任务，允许在执行过程中获得中间奖励。
关键创新：最重要的创新点在于通过细分任务和引入密集奖励机制，使得评估不仅关注最终结果，还关注代理在开放式工作流中的进展。这与现有方法的单一结果评估形成了鲜明对比。
关键设计：在设计中，任务的执行通常需要数百个回合和数分钟到数小时的时间，强调长时间规划、长上下文管理和迭代调试，而非一次性解决问题。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最强模型在Long-Horizon-Terminal-Bench上的通过率为15.2%（部分奖励阈值0.95），而在完美奖励阈值1.0下为10.9%。整体模型的平均通过率在两个阈值下分别为4.3%和1.7%，表明该基准的挑战性和改进空间。
🎯 应用场景
Long-Horizon-Terminal-Bench的设计为长时间终端任务的评估提供了新的标准，具有广泛的应用潜力，包括软件工程、科学计算和多模态分析等领域。通过更全面的评估机制，未来可以推动代理在复杂任务中的表现，提升人工智能系统的实用性和可靠性。
📄 摘要（原文）
AI agents have become capable of autonomously completing short, well-specified tasks. However, existing terminal benchmarks largely focus on simple problems that finish within minutes and are evaluated only by their final outcome. This setup overlooks intermediate progress and partial solutions, yielding sparse reward signals and an incomplete picture of agent capability. We introduce Long-Horizon-Terminal-Bench, a terminal benchmark of 46 long-horizon tasks spanning nine categories, including experiment reproduction, software engineering, multimodal analysis, interactive games, and scientific computing. Each task follows a Terminal-Bench-style setup with a reference solution or simulation engine, but is further decomposed into fine-grained graded subtasks. This design enables dense intermediate rewards and partial credit, allowing evaluation to capture not only whether an agent reaches the final goal, but also how far it progresses on open-ended workflows. Tasks in Long-Horizon-Terminal-Bench typically require hundreds of episodes and minutes to hours of execution, stressing long-horizon planning, long-context management, and iterative debugging rather than one-shot problem solving. We evaluate 15 frontier models and find that agents consume on average 9.9M tokens per task, with roughly 231 episodes and 85.3 minutes of execution time per run, making Long-Horizon-Terminal-Bench more demanding than prior terminal-based benchmarks. Even the strongest tested model achieves 15.2% pass@1 at a partial-reward threshold of 0.95 and 10.9% at a perfect-reward threshold of 1.0, while the mean pass rate across models is 4.3% and 1.7% under the two thresholds, respectively. These results reveal headroom for improvement. We further analyze failure modes and error patterns, and release Long-Horizon-Terminal-Bench to support future progress on long-horizon terminal agents.