LLMs Get Lost In Multi-Turn Conversation

📄 arXiv: 2505.06120v1 📥 PDF

作者: Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, Jennifer Neville

分类: cs.CL, cs.HC

发布日期: 2025-05-09

💡 一句话要点

揭示LLM在多轮对话中性能显著下降的问题，并分析其原因。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮对话 性能评估 可靠性 模拟实验 对话系统 用户交互

📋 核心要点

  1. 现有LLM评估主要集中在单轮对话，忽略了多轮对话中用户指令不明确的常见情况。
  2. 通过大规模模拟实验，对比LLM在单轮和多轮对话中的性能差异，揭示性能下降问题。
  3. 实验表明，LLM在多轮对话中性能显著下降，平均下降39%，主要原因是可靠性降低。

📝 摘要（中文）

大型语言模型(LLM)作为对话界面，有潜力在用户无法完全明确任务时提供帮助，通过多轮对话来定义、探索和完善需求。尽管LLM对话日志分析表明用户指令中不明确的情况经常发生，但LLM评估主要集中在单轮、完全明确的指令设置上。本文通过大规模模拟实验，比较了LLM在单轮和多轮设置中的性能。实验证实，所有测试的顶级开源和闭源LLM在多轮对话中的性能明显低于单轮，在六个生成任务中平均下降39%。对超过20万次模拟对话的分析将性能下降分解为两个部分：能力的小幅下降和可靠性的显著增加。研究发现，LLM通常在早期轮次中做出假设，并过早地尝试生成最终解决方案，并过度依赖这些解决方案。简而言之，我们发现当LLM在对话中走错方向时，它们会迷失方向并且无法恢复。

🔬 方法详解

问题定义：论文旨在解决LLM在多轮对话中性能显著下降的问题。现有LLM的评估方法主要集中在单轮对话场景，忽略了真实用户交互中常见的指令不明确和需要多轮迭代的情况。因此，现有方法无法有效评估LLM在复杂对话场景下的能力，也无法揭示LLM在多轮对话中可能存在的缺陷。

核心思路：论文的核心思路是通过大规模模拟实验，系统性地比较LLM在单轮和多轮对话中的性能差异，并将性能下降分解为能力和可靠性两个方面。通过分析LLM在多轮对话中的行为，揭示其容易在早期轮次中做出错误假设并过度依赖这些假设的倾向。

技术框架：论文采用大规模模拟实验框架，模拟用户与LLM之间的多轮对话。该框架包含以下主要模块：1) 任务定义模块：定义一系列生成任务，例如摘要、翻译等。2) 对话生成模块：模拟用户与LLM之间的多轮对话，用户逐步明确任务需求。3) 评估模块：评估LLM在单轮和多轮对话中的性能，并分析性能差异。4) 诊断模块：分析LLM在多轮对话中的行为，识别其容易出错的环节。

关键创新：论文的关键创新在于：1) 首次系统性地评估了LLM在多轮对话中的性能，揭示了其性能显著下降的问题。2) 将性能下降分解为能力和可靠性两个方面，并分析了LLM在多轮对话中容易出错的原因。3) 通过大规模模拟实验，验证了LLM在多轮对话中容易迷失方向并且无法恢复的现象。

关键设计：论文的关键设计包括：1) 采用六个不同的生成任务，以保证实验结果的泛化性。2) 设计了合理的对话生成策略，模拟真实用户交互中的指令不明确和迭代过程。3) 采用多种评估指标，全面评估LLM在单轮和多轮对话中的性能。4) 设计了详细的诊断分析方法，识别LLM在多轮对话中容易出错的环节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有测试的顶级开源和闭源LLM在多轮对话中的性能明显低于单轮，在六个生成任务中平均下降39%。分析表明，性能下降的主要原因是LLM在多轮对话中可靠性降低，容易在早期轮次中做出错误假设并过度依赖这些假设。

🎯 应用场景

该研究成果可应用于改进LLM的对话能力，使其更有效地处理复杂的多轮对话场景。例如，可以用于开发更智能的聊天机器人、虚拟助手和问答系统，提升用户体验。此外，该研究也为LLM的评估和调试提供了新的思路，有助于开发更可靠和鲁棒的LLM。

📄 摘要（原文）

Large Language Models (LLMs) are conversational interfaces. As such, LLMs have the potential to assist their users not only when they can fully specify the task at hand, but also to help them define, explore, and refine what they need through multi-turn conversational exchange. Although analysis of LLM conversation logs has confirmed that underspecification occurs frequently in user instructions, LLM evaluation has predominantly focused on the single-turn, fully-specified instruction setting. In this work, we perform large-scale simulation experiments to compare LLM performance in single- and multi-turn settings. Our experiments confirm that all the top open- and closed-weight LLMs we test exhibit significantly lower performance in multi-turn conversations than single-turn, with an average drop of 39% across six generation tasks. Analysis of 200,000+ simulated conversations decomposes the performance degradation into two components: a minor loss in aptitude and a significant increase in unreliability. We find that LLMs often make assumptions in early turns and prematurely attempt to generate final solutions, on which they overly rely. In simpler terms, we discover that when LLMs take a wrong turn in a conversation, they get lost and do not recover.