Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
作者: Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Jiayu Yao, Jiafeng Guo, Xueqi Cheng
分类: cs.SE, cs.AI
发布日期: 2026-10-14
备注: 17 pages, 5 figures, 4 tables
💡 一句话要点
提出Doc2Harness以解决长时间跨度工具工程评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间跨度任务 工具工程 基准测试 大型语言模型 智能体评估
📋 核心要点
- 现有基准测试主要集中在下游任务的成功率，未能有效评估工具工程的质量和性能。
- 本文提出Doc2Harness，通过两阶段的测试框架，直接评估长时间跨度的工具工程，填补了这一空白。
- 在对19个前沿模型的328个测试案例进行评估中，GPT-6 Astra的通过率最高，达53.05%，显示出显著的性能差异。
📝 摘要（中文）
随着大型语言模型驱动的智能体在长时间跨度任务中的应用日益增多，如何评估其性能成为一个重要问题。现有基准测试主要关注下游任务的成功率，而忽视了工具工程本身的评估。本文提出Doc2Harness，一个两阶段的基准测试框架，直接评估长时间跨度的工具工程。在第一阶段，构建模型在固定的构建环境中接收合同框架和开发文档，生成候选工具。在第二阶段，候选工具在独立的环境中运行，并通过脚本驱动的模型进行测试。实验结果显示，GPT-6 Astra在328个测试案例中以53.05%的通过率表现最佳，表明Doc2Harness为长时间跨度工具工程提供了首个确定性基准。
🔬 方法详解
问题定义：本文旨在解决现有基准测试未能有效评估长时间跨度工具工程的问题，现有方法主要关注下游任务的成功率，忽视了工具的构建和评估。
核心思路：Doc2Harness通过两阶段的评估框架，分别在固定环境中构建候选工具，并在独立环境中进行测试，从而直接评估工具工程的质量。
技术框架：整体流程分为两个阶段：第一阶段是构建模型在固定的构建环境中生成候选工具，第二阶段是将候选工具在独立的测试环境中进行评估，使用脚本驱动的模型进行测试。
关键创新：Doc2Harness是首个针对长时间跨度工具工程的确定性基准，能够直接评估工具的构建和运行效果，与现有方法相比具有更高的针对性和有效性。
关键设计：在测试中使用四个可观察的通道进行评分，包括发送给模型的请求、磁盘上的文件、进程退出代码和命令输出，确保评估的全面性和准确性。实验中还设置了正控制以排除虚假通过的情况。
🖼️ 关键图片
📊 实验亮点
在对19个前沿模型的328个测试案例进行评估中，GPT-6 Astra以53.05%的通过率表现最佳，而最弱模型的通过率仅为27.44%，显示出约26个百分点的差距。这表明即使是最强模型也在近一半的测试案例中失败，尤其是在跨模块功能分配方面的挑战。
🎯 应用场景
该研究的潜在应用领域包括智能体的开发与评估、自动化工具的构建以及长时间跨度任务的优化。通过提供有效的工具工程评估基准，能够促进智能体在复杂任务中的应用，提高其在实际工作环境中的表现和可靠性。
📄 摘要（原文）
Agents driven by large language models are increasingly deployed on long-horizon tasks, where they use tools and modify real workspaces. How well they perform depends as much on the harness around the model as on the model itself. Existing benchmarks measure downstream task success under a fixed harness, leaving harness engineering itself unexplored. We propose Doc2Harness, a two-stage benchmark that evaluates long-horizon harness engineering directly. In Stage 1, a build model operating inside a fixed builder harness receives an interface-only contract skeleton and a development document that consolidates behavior across twelve frontier harnesses, and then constructs a complete candidate harness in an isolated container. In Stage 2, the frozen candidate harness runs in containers separate from the construction environment, one per test case, and is driven end to end by a scripted mock model. We score each test case using four observable channels, namely the requests sent to the model, the files on disk, the process exit code, and the command output; positive controls rule out vacuous passes. Across nineteen frontier models, each evaluated with three independent builds on 328 test cases, GPT-6 Astra achieves the highest pass rate at 53.05%, while the weakest model reaches 27.44%, a gap of roughly twenty-six percentage points. Even the strongest model fails nearly half of the test cases, and failures cluster around how cross-cutting functionality is split across modules. To our knowledge, Doc2Harness provides the first deterministic benchmark for measuring long-horizon harness engineering.