Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant

📄 arXiv: 2504.18373v1 📥 PDF

作者: Lei Shen, Xiaoyu Shen

分类: cs.CL

发布日期: 2025-04-25

🔗 代码/项目: GITHUB

💡 一句话要点

Auto-SLURP：用于评估智能个人助理中多智能体框架的基准数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 智能个人助理 基准数据集 大型语言模型 自然语言理解

📋 核心要点

  1. 现有缺乏专门评估基于大型语言模型的多智能体框架在智能个人助理中性能的基准数据集。
  2. Auto-SLURP通过扩展SLURP数据集，集成模拟服务器和外部服务，实现端到端评估。
  3. 实验表明，Auto-SLURP对现有框架构成挑战，表明智能多智能体个人助理仍需改进。

📝 摘要（中文）

近年来，由大型语言模型（LLMs）驱动的多智能体框架发展迅速。尽管取得了这些进展，但仍然明显缺乏专门用于评估其性能的基准数据集。为了弥合这一差距，我们推出了Auto-SLURP，这是一个旨在评估基于LLM的多智能体框架在智能个人助理环境中的基准数据集。Auto-SLURP通过重新标记数据并集成模拟服务器和外部服务，扩展了最初为自然语言理解任务开发的原始SLURP数据集。这种增强功能实现了一个全面的端到端评估流程，涵盖了语言理解、任务执行和响应生成。我们的实验表明，Auto-SLURP对当前最先进的框架提出了重大挑战，突显了真正可靠和智能的多智能体个人助理仍然有待完善。

🔬 方法详解

问题定义：论文旨在解决缺乏专门用于评估基于大型语言模型的多智能体框架在智能个人助理中性能的基准数据集的问题。现有方法难以进行端到端的评估，无法全面衡量多智能体系统的性能。

核心思路：论文的核心思路是扩展现有的SLURP数据集，通过重新标记数据并集成模拟服务器和外部服务，构建一个更全面的评估环境。这样可以模拟真实世界的使用场景，从而更准确地评估多智能体框架的性能。

技术框架：Auto-SLURP的整体框架包括以下几个主要模块：1) 数据重新标记：对原始SLURP数据集进行重新标记，使其更适合多智能体任务。2) 模拟服务器集成：集成模拟服务器，用于模拟外部服务和环境。3) 端到端评估流程：构建一个端到端的评估流程，涵盖语言理解、任务执行和响应生成等环节。

关键创新：Auto-SLURP的关键创新在于它提供了一个完整的端到端评估流程，可以全面评估多智能体框架在智能个人助理中的性能。通过集成模拟服务器和外部服务，Auto-SLURP可以模拟真实世界的使用场景，从而更准确地评估多智能体系统的性能。与现有方法相比，Auto-SLURP更加全面和实用。

关键设计：数据集的重新标注策略，模拟服务器的具体实现方式，以及端到端评估流程的详细设计（例如，如何衡量语言理解的准确性、任务执行的成功率和响应生成的质量）等技术细节未知。

📊 实验亮点

实验结果表明，Auto-SLURP对当前最先进的多智能体框架提出了重大挑战，突显了现有框架在处理复杂任务和真实世界场景方面的不足。具体的性能数据和对比基线未知，但结论表明，真正可靠和智能的多智能体个人助理仍然有待完善。

🎯 应用场景

该研究成果可应用于智能个人助理、智能家居、自动驾驶等领域。通过Auto-SLURP数据集，研究人员可以更有效地评估和改进多智能体框架的性能，从而开发出更智能、更可靠的智能系统。这有助于提升用户体验，并推动人工智能技术在实际应用中的发展。

📄 摘要（原文）

In recent years, multi-agent frameworks powered by large language models (LLMs) have advanced rapidly. Despite this progress, there is still a notable absence of benchmark datasets specifically tailored to evaluate their performance. To bridge this gap, we introduce Auto-SLURP, a benchmark dataset aimed at evaluating LLM-based multi-agent frameworks in the context of intelligent personal assistants. Auto-SLURP extends the original SLURP dataset -- initially developed for natural language understanding tasks -- by relabeling the data and integrating simulated servers and external services. This enhancement enables a comprehensive end-to-end evaluation pipeline, covering language understanding, task execution, and response generation. Our experiments demonstrate that Auto-SLURP presents a significant challenge for current state-of-the-art frameworks, highlighting that truly reliable and intelligent multi-agent personal assistants remain a work in progress. The dataset and related code are available at https://github.com/lorashen/Auto-SLURP/.