UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

📄 arXiv: 2607.08768v1 📥 PDF

作者: Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang, Xihui Liu

分类: cs.CL

发布日期: 2026-07-09

备注: Project Page: https://uniclawbench.github.io | GitHub Repo: https://github.com/HKU-MMLab/UniClawBench

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniClawBench以解决现有主动智能体评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动智能体 能力驱动 动态评估 闭环反馈 多模态理解 跨平台协调 真实任务 性能评估

📋 核心要点

  1. 现有基准测试无法有效评估主动智能体，主要依赖沙盒环境和单轮评估，导致评估结果不准确。
  2. 论文提出UniClawBench，基于五个基础模型能力设计400个双语任务，采用实时评估和闭环反馈策略。
  3. 通过对多种模型和框架的比较，展示了基础模型能力与框架设计对智能体性能的影响，推动了评估方法的进步。

📝 摘要（中文）

随着大语言模型和多模态大语言模型的快速发展，能够操作日常工具并在现实环境中协助用户的主动智能体逐渐出现。然而，现有基准测试在有效评估这些智能体方面存在困难，主要依赖于沙盒环境和单轮评估模式。此外，现有的任务分类混合了多种模型能力，难以识别智能体失败的根本原因。为了解决这些问题，我们提出了UniClawBench，这是第一个旨在动态现实环境中评估主动智能体的能力驱动基准。UniClawBench围绕五个基础模型能力构建：技能使用、探索、长时上下文推理、多模态理解和跨平台协调，并设计了400个双语现实任务。与以往依赖静态预录答案的基准不同，我们的基准在实时Docker容器中评估智能体，采用细粒度的逐步完成检查点。此外，我们设计了一个闭环评估策略，模拟真实的多轮人类反馈。通过对多种模型和框架的全面比较，我们展示了基础模型能力和智能体框架设计如何共同影响现实环境中的性能。

🔬 方法详解

问题定义：现有的主动智能体评估方法主要依赖于沙盒环境和单轮评估，无法真实反映智能体在动态现实环境中的表现，且任务分类混合多种能力，难以分析失败原因。

核心思路：UniClawBench通过能力驱动的方式，围绕技能使用、探索、长时上下文推理、多模态理解和跨平台协调五个基础能力，设计了一套全面的评估框架，旨在提供更真实的评估环境。

技术框架：整体架构包括实时Docker容器评估、细粒度的逐步完成检查点和闭环评估策略，涉及执行代理、隐藏监督代理和用户代理三个主要模块，模拟真实的人类反馈过程。

关键创新：UniClawBench是第一个能力驱动的基准，能够在动态环境中评估主动智能体，突破了以往静态评估的局限，提供了更为细致的性能分析。

关键设计：在设计中，采用了实时评估机制和闭环反馈策略，确保评估过程中的反馈不泄露评分标准，同时通过多种代理的协作，提升了评估的真实性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniClawBench在评估主动智能体的能力方面具有显著优势。通过与多种基线模型的比较，展示了在动态环境中的性能提升，具体数据和提升幅度在论文中详细列出，验证了该基准的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具和人机交互系统等。通过提供一个全面的评估基准，UniClawBench能够帮助研究人员和开发者更好地理解和改进主动智能体的性能，推动智能体在实际应用中的落地和发展。

📄 摘要（原文）

The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.