Probing the Multi-turn Planning Capabilities of LLMs via 20 Question Games

📄 arXiv: 2310.01468v3 📥 PDF

作者: Yizhe Zhang, Jiarui Lu, Navdeep Jaitly

分类: cs.CL, cs.AI, cs.HC, cs.LG

发布日期: 2023-10-02 (更新: 2024-02-20)

备注: 24 pages

💡 一句话要点

提出实体推理游戏以评估LLMs的多轮规划能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮对话 推理能力 行为克隆 强化学习 智能体训练 实体推理游戏

📋 核心要点

  1. 现有的LLMs在处理模糊查询时表现不稳定，缺乏有效的澄清能力，导致输出错误。
  2. 提出通过实体推理游戏评估LLMs的推理和规划能力，利用多轮对话进行复杂问题的解决。
  3. 实验结果显示，GPT-4等强模型在该任务中显著优于人类，且通过强化学习提升了Vicuna模型的表现。

📝 摘要（中文）

大型语言模型（LLMs）在回答明确问题时表现良好，但面对模糊查询时可能产生不稳定和错误的输出。因此，开发能够有效提出澄清问题的智能体显得尤为重要。本文提出了一种替代性问题，通过实体推理游戏评估LLMs在多轮对话中的推理和规划能力。我们系统性地评估了多种LLMs，发现强大的模型如GPT-4在此任务中显著优于人类玩家。此外，采用行为克隆（BC）方法探讨较弱模型是否能够模仿强模型并进行泛化，最后通过强化学习提升Vicuna模型的推理和规划能力，取得了显著的性能提升。希望这一问题能够为自主智能体在模糊情况下的训练提供新思路。

🔬 方法详解

问题定义：本文旨在解决LLMs在面对模糊查询时缺乏有效澄清能力的问题。现有方法难以直接测量LLMs的推理和规划能力，导致评估不准确。

核心思路：通过设计一种实体推理游戏，LLMs可以通过向评审提出一系列问题来推断未知实体，从而评估其多轮对话中的推理和规划能力。

技术框架：整体架构包括游戏设计、LLMs的问答模块和评审反馈机制。LLMs通过多轮提问获取信息，评审根据其问题和回答进行评分。

关键创新：提出的实体推理游戏作为评估框架，能够系统性地测量LLMs在复杂对话中的表现，与传统评估方法相比，提供了更深入的洞察。

关键设计：在实验中采用行为克隆（BC）方法，利用强模型的示例训练弱模型，并通过强化学习优化Vicuna模型的推理能力，关键参数和损失函数设计旨在提升模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4在实体推理游戏中表现优异，显著超过人类玩家，且通过行为克隆和强化学习，Vicuna模型的性能提升了XX%（具体数据未知），展示了该方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等，能够帮助开发更智能的对话系统，提升用户体验。通过增强LLMs在模糊情况下的推理能力，未来的智能体将能够更好地理解用户意图，从而提供更准确的响应。

📄 摘要（原文）

Large language models (LLMs) are effective at answering questions that are clearly asked. However, when faced with ambiguous queries they can act unpredictably and produce incorrect outputs. This underscores the need for the development of intelligent agents capable of asking clarification questions to resolve ambiguities effectively. This capability requires complex understanding, state tracking, reasoning and planning over multiple conversational turns. However, directly measuring this can be challenging. In this paper, we offer a surrogate problem which assesses an LLMs's capability to deduce an entity unknown to itself, but revealed to a judge, by asking the judge a series of queries. This \textit{entity-deducing game} can serve as an evaluation framework to probe the conversational reasoning and planning capabilities of language models. We systematically evaluate various LLMs and discover significant differences in their performance on this task. We find that strong LLMs like GPT-4 outperform human players by a large margin. We further employ Behavior Cloning (BC) to examine whether a weaker model is capable of imitating a stronger model and generalizing to data or domains, using only the demonstrations from a stronger model. We finally propose to use Reinforcement Learning to enhance reasoning and planning capacity of Vicuna models through episodes of game playing, which lead to significant performance improvement. We hope that this problem offers insights into how autonomous agents could be trained to behave more intelligently in ambiguous circumstances.