Auditing Web Agent Evaluation on WebArena-Lite: Human Review of Outcomes and Trajectories
作者: Chengguang Gan, Zimeng He, Yoshihiro Tsujii, Ken-ichiro Kobayashi, Hiroki Itoh, Kotaro Funakoshi
分类: cs.CL
发布日期: 2026-10-01
备注: 13 pages, 1 figure, 10 tables. Accepted as a poster at the NeurIPS 2026 Workshop "Who Verifies the Agents? Toward Reliable Agent Development"
💡 一句话要点
提出人类审查机制以提升Web代理评估的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Web代理 人类审查 评估机制 记忆与分析支持 任务轨迹 大型语言模型 自动化评估
📋 核心要点
- 现有的Web代理评估方法主要依赖于自动化评估器，无法全面反映代理的行为和任务完成情况。
- 论文提出了一种人类审查机制，结合记忆与分析支持机制（MASM）和指导文本，以提高评估的准确性和全面性。
- 实验结果显示，人类审查能够恢复5.45到8.49个百分点的成功率，并且MASM在不同模型上均显著提升了评估分数。
📝 摘要（中文）
Web代理是大型语言模型的重要应用，但其评估通常依赖于仅检查最终结果的规则或语言模型评估器。人类对任务完成情况的验证和失败轨迹的详细分析仍然有限。本文对165个WebArena Lite任务进行了审计，保留原始评分，纠正自动评估器的假阴性，识别首个重要错误，并检查整个轨迹的进展。研究还提出了一种记忆与分析支持机制（MASM），保持明确的执行状态，并提供任务相关的程序指导。结果表明，人类审查能够显著提高评估的成功率，强调了仅依赖最终评分的不足。
🔬 方法详解
问题定义：本文旨在解决现有Web代理评估方法的不足，尤其是自动评估器无法全面捕捉代理行为和任务完成情况的问题。现有方法往往只关注最终结果，忽视了任务执行过程中的细节和失败原因。
核心思路：论文提出通过人类审查和结合MASM与指导文本的方式，来提升Web代理的评估准确性。MASM能够保持执行状态，指导文本则提供任务相关的程序指导，从而帮助评估者更好地理解代理的行为。
技术框架：整体架构包括任务审计、错误识别、轨迹分析和人类审查四个主要模块。首先，审计所有任务并记录原始评分；其次，识别并纠正自动评估器的假阴性；然后，分析任务执行轨迹，最后进行人类审查以获取更准确的评估结果。
关键创新：最重要的技术创新在于引入了MASM和指导文本，前者提供了执行状态的明确记录，后者则为任务提供了必要的程序指导。这与传统的仅依赖自动评估器的方法有本质区别。
关键设计：在实验中，MASM的设计允许对执行状态进行详细记录，指导文本则根据任务需求提供具体的操作步骤。这些设计使得评估过程更加透明和可追溯，从而提高了评估的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在四种GPT 5.5设置下，人类审查能够恢复5.45到8.49个百分点的成功率。在使用MASM和指导文本的情况下，成功率从34.55%提升至38.18%。对于未训练的Qwen3.5 9B模型，MASM将评估分数从13.90%提升至18.80%。
🎯 应用场景
该研究的潜在应用领域包括智能客服、自动化任务执行和人机协作等场景。通过提高Web代理的评估准确性，可以更好地理解和优化代理的行为，进而提升用户体验和任务完成效率。未来，该方法可能会对Web代理的设计和评估标准产生深远影响。
📄 摘要（原文）
Web agents are an important application of large language models, yet their evaluation often depends on rule based or language model evaluators that inspect only the final outcome. Human verification of task completion and detailed analysis of failed trajectories remain limited. We audit all 165 WebArena Lite tasks under six evaluation conditions built from GPT 5.5 and an untrained Qwen3.5 9B model. The audit retains the original score, corrects false negatives from the automatic evaluator, identifies the first consequential error, and examines progress across the trajectory. We also study a Memory and Analysis Support Mechanism (MASM), which maintains explicit execution state, and Guide Text, which provides task relevant procedural guidance. Across four GPT 5.5 settings, human review recovers 5.45 to 8.49 percentage points of success missed by the evaluator. With a 25 step budget, Guide Text raises corrected success with MASM from 34.55% to 38.18%. On the untrained Qwen3.5 9B model, MASM raises the evaluator score from 13.90% to 18.80%. Review of 102 failed GPT 5.5 trajectories reveals frequent scrolling loops, unfinished exploration, premature answers, invalid actions, and incomplete form workflows. Step level evidence further shows that substantial early progress can coexist with a final failure. These results show why final scores alone provide an incomplete account of web agent behavior and motivate human grounded, trajectory aware verification.