When Agents Fail: Model or Harness--Who's to Blame?
作者: Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu
分类: cs.AI, cs.CL, cs.SE
发布日期: 2026-10-23
备注: Preprint under review
💡 一句话要点
提出模型与执行环境交互评估框架以优化LLM代理性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 执行环境 性能评估 模型适配 多模态交互 任务完成率 交互残差 令牌负载
📋 核心要点
- 现有的LLM代理性能评估方法未能充分考虑执行环境与模型之间的交互影响，导致评估结果不够全面。
- 本文提出了一个新的评估框架，结合五个指标来全面评估执行环境与模型的交互效果，旨在提升代理的任务完成能力。
- 实验结果显示，OpenCode在跨模型性能上表现最佳，而DeepSeek V4 Flash Preview在多个基准上维持了高有效完成率，验证了新框架的有效性。
📝 摘要（中文）
本文探讨了大语言模型（LLM）代理的性能评估，强调执行环境（harness）与模型的交互应被纳入考量。我们提出了一个结合五个互补指标的框架，包括有效完成率（VCR）、模型-环境适配度、跨模型适配度、交互残差和令牌负载。通过对四种通用执行环境和四个核心模型在六个基准上的评估，发现不同模型和基准下的执行环境排名存在差异，且任务性能与有效完成率可能偏向不同的组合。研究结果支持对模型-环境交互的评估，促进模型在任务中的可迁移能力训练，以及针对特定模型和任务的环境设计。
🔬 方法详解
问题定义：本文旨在解决现有LLM代理性能评估中忽视执行环境与模型交互的问题。现有方法往往只关注单一模型或环境，未能全面反映代理的实际表现。
核心思路：我们提出的框架通过五个互补指标来评估模型与执行环境的交互，强调有效完成率和适配度的重要性，以便更准确地反映代理的性能。
技术框架：框架包括五个主要模块：有效完成率（VCR）、模型-环境适配度、跨模型适配度、交互残差和令牌负载。每个模块从不同角度评估代理的表现，形成一个综合评估体系。
关键创新：本研究的创新在于首次系统性地将执行环境与模型的交互纳入评估框架，提供了一个多维度的性能评估视角，区别于传统单一维度的评估方法。
关键设计：在指标设计上，VCR关注代理的完成可靠性，模型-环境适配度评估环境对特定模型的支持程度，交互残差揭示了具体执行的强弱点，而令牌负载则考虑了执行过程中的资源消耗。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OpenCode在跨模型性能评估中排名第一，而DeepSeek V4 Flash Preview在多个基准上保持了高达80%的有效完成率，显示出不同执行环境在不同任务中的表现差异，验证了新框架的有效性和实用性。
🎯 应用场景
该研究的评估框架可广泛应用于大语言模型的开发与优化，尤其是在多模态交互、工具使用和长上下文规划等领域。通过优化模型与执行环境的配合，能够提升智能代理在实际应用中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
LLM agents combine models with execution harnesses, so agentic benchmark performance reflects their joint behavior. We argue that harnesses should therefore be evaluated through their interactions with underlying models. We develop a framework combining five complementary measures: (i) Valid Completion Rate (VCR), how reliably agents finish normally and deliver evaluable results, irrespective of task correctness; (ii) Model-Harness Fit, how well a harness supports task achievement through valid completion for a given model; (iii) Cross-Model Fit, a harness's overall suitability across evaluated models; (iv) Interaction Residuals, pairing-specific execution strengths and weaknesses hidden by component-level summaries; and (v) Token Load, the token demands of agent execution, including failed attempts. We evaluate four general-purpose harnesses (OpenCode, Codex CLI, Pi CLI, and DeepAgents) with four core models, plus two fixed native model-harness systems, on six benchmarks covering context management, tool use, long-context planning, multimodal interaction, and artifact handoff. Including native references and stress conditions, 111 evaluation settings yield 52,168 trajectories. Harness rankings vary across models and benchmarks; task performance and valid completion can favor different pairings, and similar task scores can accompany distinct execution profiles. OpenCode ranks first in cross-model performance, while DeepSeek V4 Flash Preview maintains consistently high Mean VCR across harnesses on the shared four-benchmark panel. These findings support evaluating model-harness interactions, training transferable harness-use capabilities in models, and harness designs adapted to the model and task.