BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues

📄 arXiv: 2310.13650v1 📥 PDF

作者: Haodong Duan, Jueqi Wei, Chonghua Wang, Hongwei Liu, Yixiao Fang, Songyang Zhang, Dahua Lin, Kai Chen

分类: cs.CL

发布日期: 2023-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出BotChat以评估大型语言模型的多轮对话能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮对话 人机交互 自然语言处理 评估方法

📋 核心要点

  1. 现有方法在评估大型语言模型的多轮对话能力时，依赖人工评估，效率低且劳动强度大。
  2. 论文提出了一种基于LLM的方法，通过真实人类对话生成多轮对话，减少人工干预。
  3. 实验结果表明，GPT-4生成的对话质量显著高于其他模型，且难以区分于人类对话。

📝 摘要（中文）

与人类进行高质量的多轮对话是大型语言模型（LLMs）的关键特性。然而，基于人类的评估方法涉及大量的人工劳动。本文通过LLM驱动的方法对现有大型语言模型进行初步评估，旨在实现人类风格的多轮对话。我们从真实的人类对话出发，保留第一句话作为ChatSEED，然后逐句提示LLMs生成完整的多轮对话。最终，我们采用最先进的LLMs（如GPT-4）作为评判者来评估生成的对话。研究发现，GPT-4能够生成质量令人印象深刻的人类风格多轮对话，显著优于其他模型。所有数据和代码将提供在https://github.com/open-compass/BotChat/，希望能为评估LLMs的多轮对话能力提供有价值的资源。

🔬 方法详解

问题定义：本文旨在解决如何高效评估大型语言模型在多轮对话中的表现，现有方法依赖人工评估，效率低下且主观性强。

核心思路：通过真实人类对话生成初始对话种子（ChatSEED），然后逐句提示LLMs生成完整对话，利用LLM自身进行评估，减少人工干预。

技术框架：整体流程包括三个主要阶段：首先收集真实人类对话，提取第一句话作为ChatSEED；其次，逐句提示LLMs生成多轮对话；最后，使用GPT-4等先进模型评估生成的对话质量。

关键创新：最重要的创新在于使用LLM自身作为评判者，避免了传统方法中的人工评估瓶颈，提升了评估的效率和客观性。

关键设计：在生成对话时，设置了特定的提示策略，确保生成的对话连贯且符合人类对话的风格，同时采用了多种评估协议来验证结果的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4生成的多轮对话在质量上显著优于其他大型语言模型，且在评估中，判别器难以区分GPT-4生成的对话与人类对话，表明其生成能力的高度一致性和自然性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和社交机器人等，能够提升人机交互的自然性和流畅性。通过提供高质量的多轮对话能力，能够改善用户体验，推动相关技术的商业化应用和发展。

📄 摘要（原文）

Interacting with human via high-quality multi-turn dialogues is a key feature of large language models (LLMs). However, human-based evaluation of such capability involves intensive manual labor. This report provides a preliminary evaluation of existing large language models for human-style multi-turn chatting, through an LLM-based approach. We start from real-world human dialogues and keep the very first utterances as the ChatSEED. Then we prompt LLMs to generate a full multi-turn dialogue (tens of utterances) based on the ChatSEED, utterance by utterance. Finally, we adopt state-of-the-art LLMs (GPT-4, \etc) as the judge to evaluate the generated dialogues. With different evaluation protocols, we come to substantially identical conclusions. We find that GPT-4 can generate human-style multi-turn dialogues with impressive quality, significantly outperforms its counterparts. It's difficult for a discriminator to distinguish between GPT-4 generated dialogues and human dialogues. In contrast, other LLMs struggle to generate multi-turn dialogues of satisfactory quality due to poor instruction-following capability, tendency to generate lengthy utterances, or limited general capability. All data and codes will be provided in https://github.com/open-compass/BotChat/ and we hope they can serve as a valuable resource for evaluating multi-turn chatting capabilities of LLMs.