Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models

📄 arXiv: 2310.20499v2 📥 PDF

作者: Tian Liang, Zhiwei He, Jen-tse Huang, Wenxuan Wang, Wenxiang Jiao, Rui Wang, Yujiu Yang, Zhaopeng Tu, Shuming Shi, Xing Wang

分类: cs.CL

发布日期: 2023-10-31 (更新: 2023-11-06)

备注: Work in progress

💡 一句话要点

提出基于词语猜测游戏的框架以评估大型语言模型的智能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 智能评估 词语猜测游戏 多智能体系统 表达能力 战略思维 游戏化评估 认知能力

📋 核心要点

  1. 现有的LLM评估方法如AlpacaEval成本高、耗时长且缺乏适应性，限制了其广泛应用。
  2. 本文提出了DEEP和SpyGame，通过词语猜测游戏评估LLM的表达能力和战略思维，提供了一种新的评估框架。
  3. 实验结果显示，DEEP和SpyGame能够有效评估不同LLM的能力，捕捉其在复杂交流中的适应性和认知能力。

📝 摘要（中文）

本文提出了一种新的评估大型语言模型（LLM）智能的方法，灵感来源于流行的语言游戏“谁是间谍”。通过词语猜测游戏，LLM被要求描述一个词并判断其身份（间谍或非间谍）。我们开发了DEEP工具来评估LLM的表达和伪装能力，并引入了SpyGame框架，通过多智能体互动评估LLM在复杂交流中的认知能力和适应性。实验结果表明，该框架能够有效捕捉LLM在新情境下的适应能力和战略沟通能力。

🔬 方法详解

问题定义：本文旨在解决现有LLM评估方法的高成本和低适应性问题，现有方法往往依赖人工标注，效率低下。

核心思路：通过引入词语猜测游戏，LLM需要在描述词语时展现表达和伪装能力，从而实现对其智能的评估。该设计旨在模拟真实的语言交流场景。

技术框架：整体框架包括两个主要模块：DEEP用于评估LLM的表达能力，SpyGame则是一个互动的多智能体框架，评估LLM在竞争性语言游戏中的表现。

关键创新：最重要的创新在于将游戏化的评估方法引入LLM智能评估，突破了传统评估方法的局限，提供了更动态和互动的评估方式。

关键设计：DEEP要求LLM在激进和保守两种模式下描述词语，SpyGame则通过多智能体互动考察LLM的语言技能和战略思维，设计了相应的评估标准和实验流程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DEEP和SpyGame能够有效评估不同LLM的能力，尤其是在新情境下的适应能力和战略沟通能力。与传统方法相比，评估效率显著提升，且能够捕捉到LLM在复杂交流中的表现差异。

🎯 应用场景

该研究的潜在应用领域包括智能助手、教育工具和游戏开发等。通过更有效的评估方法，可以推动LLM在实际应用中的智能化进程，提升用户体验和交互质量。未来，该框架可能会影响LLM的训练和评估标准，促进更智能的AI系统的开发。

📄 摘要（原文）

The automatic evaluation of LLM-based agent intelligence is critical in developing advanced LLM-based agents. Although considerable effort has been devoted to developing human-annotated evaluation datasets, such as AlpacaEval, existing techniques are costly, time-consuming, and lack adaptability. In this paper, inspired by the popular language game ``Who is Spy'', we propose to use the word guessing game to assess the intelligence performance of LLMs. Given a word, the LLM is asked to describe the word and determine its identity (spy or not) based on its and other players' descriptions. Ideally, an advanced agent should possess the ability to accurately describe a given word using an aggressive description while concurrently maximizing confusion in the conservative description, enhancing its participation in the game. To this end, we first develop DEEP to evaluate LLMs' expression and disguising abilities. DEEP requires LLM to describe a word in aggressive and conservative modes. We then introduce SpyGame, an interactive multi-agent framework designed to assess LLMs' intelligence through participation in a competitive language-based board game. Incorporating multi-agent interaction, SpyGame requires the target LLM to possess linguistic skills and strategic thinking, providing a more comprehensive evaluation of LLMs' human-like cognitive abilities and adaptability in complex communication situations. The proposed evaluation framework is very easy to implement. We collected words from multiple sources, domains, and languages and used the proposed evaluation framework to conduct experiments. Extensive experiments demonstrate that the proposed DEEP and SpyGame effectively evaluate the capabilities of various LLMs, capturing their ability to adapt to novel situations and engage in strategic communication.