EvoProbe: Evaluation-Driven Benchmark Evolution for LLM Agents
作者: Qianhong Guo, Wei Xie, Xiaofang Cai, Shuoyoucheng Ma, Chengxin Hu, Baosheng Wang
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出EvoProbe框架以解决LLM代理评估任务更新问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 评估框架 任务生成 诊断评估 反馈机制 网络安全 模型性能
📋 核心要点
- 现有的静态基准在评估大型语言模型时面临饱和和数据污染的风险，导致评估效果不佳。
- EvoProbe框架通过集成任务生成、诊断评估和反馈驱动的再生，形成闭环以持续更新评估任务。
- 实验结果显示，所有模型在更新任务上的Outcome得分均降低，表明细粒度诊断能够有效指导任务更新。
📝 摘要（中文）
针对大型语言模型（LLM）代理的静态基准面临饱和和数据污染风险，迫切需要对评估任务进行持续更新。然而，聚合得分和成功率对具体问题解决瓶颈的洞察有限，且对后续任务设计的指导性不足。为此，本文提出EvoProbe，一个评估驱动的基准演进框架，集成了任务生成、诊断评估和反馈驱动的再生过程。该框架结合了可验证的子任务结果评分与证据支持的多评审轨迹评估，提炼出阶段性瓶颈、成功模式和失败模式，为生成新的可执行任务提供诊断反馈。在网络安全实验的两轮评估中，对八个模型在66个任务上的评估揭示了阶段性性能差异和常见失败模式。所有模型在更新任务上的结果得分均有所下降，支持使用细粒度诊断来指导迭代任务更新。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLM）代理的静态基准评估面临的饱和和数据污染问题。现有方法在提供具体问题解决瓶颈的洞察和后续任务设计指导方面存在不足。
核心思路：EvoProbe框架的核心思想是通过集成任务生成、诊断评估和反馈驱动的再生过程，形成一个闭环系统，以便持续更新评估任务并提高评估的有效性。
技术框架：EvoProbe的整体架构包括三个主要模块：任务生成模块、诊断评估模块和反馈再生模块。任务生成模块负责创建新的评估任务，诊断评估模块通过多评审轨迹评估分析模型表现，反馈再生模块则根据诊断结果生成新的可执行任务。
关键创新：EvoProbe的主要创新在于结合了可验证的子任务结果评分与证据支持的多评审轨迹评估，能够提炼出阶段性瓶颈和失败模式，这与传统方法的聚合得分评估方式有本质区别。
关键设计：在设计上，EvoProbe采用了细粒度的评分机制，能够针对每个子任务进行评估，并通过多评审者的反馈来增强评估的可靠性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在更新的任务上，所有八个模型的Outcome得分平均下降了11.8%，Pass^3得分平均下降了40.0%。这些结果表明，细粒度的诊断能够有效指导任务的迭代更新，揭示模型在不同阶段的表现差异和常见失败模式。
🎯 应用场景
EvoProbe框架在大型语言模型的评估和任务设计中具有广泛的应用潜力，能够为模型的持续改进提供有效的反馈机制。其在网络安全等领域的应用能够帮助研究人员更好地理解模型的能力和局限性，从而推动相关技术的发展。
📄 摘要（原文）
Static benchmarks for large language model (LLM) agents face saturation and data contamination risks, motivating continual updates to evaluation tasks. However, aggregate scores and success rates offer limited insight into specific problem-solving bottlenecks and provide limited guidance for subsequent task design. We propose EvoProbe, an evaluation-driven benchmark evolution framework that integrates task generation, diagnostic evaluation, and feedback-driven regeneration into a closed loop. It combines verifiable subtask outcome scoring with evidence-supported multi-judge trajectory evaluation and distills phase-level bottlenecks, success patterns, and failure patterns into diagnostic feedback for generating new executable tasks. Across two rounds of cybersecurity experiments, evaluations of eight models on 66 tasks reveal phase-level performance differences and common failure patterns beyond aggregate scores. In a cross-round comparison with the Examiner model set and solver configuration held fixed, all eight models achieve lower Outcome scores on the updated tasks, with relative decreases of 11.8\% in mean Outcome and 40.0\% in mean Pass\textasciicircum{}3. These results support using fine-grained diagnostics to guide iterative task updates and probe agents' current capabilities and limitations.