clembench-2024: A Challenging, Dynamic, Complementary, Multilingual Benchmark and Underlying Flexible Framework for LLMs as Multi-Action Agents
作者: Anne Beyer, Kranti Chalamalasetti, Sherzod Hakimov, Brielen Madureira, Philipp Sadler, David Schlangen
分类: cs.CL, cs.AI
发布日期: 2024-05-31
备注: under review
💡 一句话要点
Clembench-2024：用于评估LLM多动Agent能力的高挑战性、动态、互补、多语言基准测试框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多动Agent 基准测试 会话游戏 指令遵循 战略规划 语言理解 动态评估
📋 核心要点
- 现有工作表明LLM可以通过自我对弈进行能力评估，但缺乏一个动态、多语言且能避免数据污染的基准测试框架。
- 本文提出Clembench-2024框架，通过构建会话游戏环境，评估LLM的指令遵循、战略规划和语言理解能力。
- 实验表明，Clembench-2024能够有效评估LLM，且测试难度尚未饱和，同时可以用于研究提示语言等因素对性能的影响。
📝 摘要（中文）
本文介绍了一种用于评估大型语言模型（LLMs）在会话游戏中作为多动Agent能力的框架Clembench-2024。该框架通过提示LLMs进行“自我对弈”来测试其通用指令遵循、战略目标导向和语言理解能力，并自动对交互式游戏过程进行评分。本文验证了该框架作为评估工具的有效性，证明了其能够适应新的发展并避免数据污染，且测试尚未饱和（人类表现远高于最佳模型）。此外，该框架还可用于研究其他问题，例如提示语言对性能的影响。该方法为选择合适的模型以构建交互式应用系统奠定了良好的基础，并可能最终建立系统和模拟评估器的闭环开发环境。
🔬 方法详解
问题定义：本文旨在解决如何全面、动态、可靠地评估大型语言模型（LLMs）作为多动Agent的能力。现有方法，特别是基于静态数据集的评估，难以跟上LLM快速发展的步伐，容易出现数据污染问题，并且无法充分测试LLM在复杂交互环境中的表现。此外，现有评估方法在多语言支持和评估维度方面也存在局限性。
核心思路：本文的核心思路是利用会话游戏环境，通过让LLM进行“自我对弈”，模拟真实世界中的交互场景，从而更全面地评估LLM的各项能力。这种方法能够动态生成测试用例，避免数据污染，并允许研究人员灵活地调整游戏规则和评估指标，以适应不同的评估需求。
技术框架：Clembench-2024框架包含以下主要模块：1) 游戏环境构建模块：负责定义游戏规则、状态空间和动作空间；2) LLM Agent模块：负责根据游戏状态选择合适的动作；3) 评估模块：负责根据游戏结果对LLM Agent的表现进行评分。整个流程如下：首先，游戏环境构建模块初始化游戏环境；然后，LLM Agent模块根据当前游戏状态选择动作并执行；接着，游戏环境更新状态；最后，评估模块根据游戏结果对LLM Agent的表现进行评分。该过程循环进行，直到游戏结束。
关键创新：Clembench-2024的关键创新在于其动态性和互补性。动态性体现在能够根据LLM的最新发展动态生成新的测试用例，避免数据污染。互补性体现在能够从多个维度评估LLM的能力，包括指令遵循、战略规划和语言理解。此外，该框架还支持多语言评估，使其能够更全面地评估LLM的跨语言能力。
关键设计：Clembench-2024的关键设计包括：1) 游戏规则的设计：游戏规则需要足够复杂，以充分测试LLM的能力，但又不能过于复杂，以免增加LLM的学习难度；2) 评估指标的设计：评估指标需要能够准确反映LLM在游戏中的表现，例如，完成任务的成功率、游戏得分等；3) 提示工程：使用不同的提示策略来引导LLM进行游戏，并研究提示语言对性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是性能最佳的LLM，在Clembench-2024上的表现也远低于人类水平，表明该基准测试具有挑战性，尚未饱和。此外，实验还发现提示语言对LLM的性能有显著影响，这为优化LLM的提示工程提供了新的思路。该框架能够有效区分不同LLM的性能差异，为模型选择提供依据。
🎯 应用场景
Clembench-2024可应用于开发和评估各种交互式智能系统，例如对话机器人、游戏AI和智能助手。通过使用该框架，研究人员和开发人员可以更好地了解LLM的优势和局限性，从而选择合适的模型并优化系统性能。此外，该框架还可以用于研究LLM的涌现能力和安全问题，为构建更加可靠和安全的AI系统提供支持。
📄 摘要（原文）
It has been established in recent work that Large Language Models (LLMs) can be prompted to "self-play" conversational games that probe certain capabilities (general instruction following, strategic goal orientation, language understanding abilities), where the resulting interactive game play can be automatically scored. In this paper, we take one of the proposed frameworks for setting up such game-play environments, and further test its usefulness as an evaluation instrument, along a number of dimensions: We show that it can easily keep up with new developments while avoiding data contamination, we show that the tests implemented within it are not yet saturated (human performance is substantially higher than that of even the best models), and we show that it lends itself to investigating additional questions, such as the impact of the prompting language on performance. We believe that the approach forms a good basis for making decisions on model choice for building applied interactive systems, and perhaps ultimately setting up a closed-loop development environment of system and simulated evaluator.