StructFlowBench: A Structured Flow Benchmark for Multi-turn Instruction Following

📄 arXiv: 2502.14494v2 📥 PDF

作者: Jinnan Li, Jinzhe Li, Yue Wang, Yi Chang, Yuan Wu

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-05-30)

备注: ACL 2025 Findings camera-ready version

🔗 代码/项目: GITHUB

💡 一句话要点

提出StructFlowBench，用于评估LLM在多轮指令跟随中的结构化流程理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话 指令跟随 结构化流程 语言模型评估 人机交互

📋 核心要点

  1. 现有基准测试忽略了多轮对话中轮次间的结构依赖性，无法有效评估LLM对用户意图的理解。
  2. StructFlowBench通过定义六种轮次间关系，构建结构化流程框架，从而引入新的结构约束。
  3. 实验结果表明，现有LLM在理解多轮对话结构方面存在不足，StructFlowBench可有效评估该能力。

📝 摘要（中文）

本文提出了StructFlowBench，一个用于评估大型语言模型（LLMs）在多轮指令跟随能力方面的基准。现有评估侧重于细粒度的约束满足和特定领域的能力评估，忽略了对话轮次之间至关重要的结构依赖性，而这正是多轮交互与单轮交互的区别所在。这些结构依赖性不仅反映了用户意图，还为指令跟随评估建立了一个重要的第二维度，超越了约束满足。StructFlowBench定义了一个创新的结构化流程框架，包含六种基本的轮次间关系。这些关系为模型评估引入了新的结构约束，并作为生成参数，用于创建针对特定场景定制的对话流程。通过采用基于LLM的自动评估方法，对13个领先的开源和闭源LLM进行了系统评估。实验结果表明，当前模型在理解多轮对话结构方面存在显著缺陷。代码已开源。

🔬 方法详解

问题定义：现有的大型语言模型评估基准主要关注于单轮指令的约束满足和特定领域的能力，而忽略了多轮对话中对话轮次之间的结构化依赖关系。这种结构化依赖关系对于理解用户意图至关重要，并且是区分多轮对话和单轮对话的关键特征。因此，如何有效评估LLM在多轮对话中理解和遵循结构化流程的能力是一个重要的挑战。

核心思路：StructFlowBench的核心思路是通过建模对话轮次之间的结构化关系来评估LLM的多轮指令跟随能力。它定义了一组基本的轮次间关系，这些关系反映了用户意图和对话的逻辑流程。通过评估LLM是否能够正确理解和遵循这些结构化关系，可以更全面地评估其多轮对话能力。

技术框架：StructFlowBench的技术框架主要包括两个部分：结构化流程定义和自动评估方法。结构化流程定义部分定义了六种基本的轮次间关系，用于构建多轮对话的结构化流程。自动评估方法采用基于LLM的自动评估流程，利用LLM来判断模型生成的多轮对话是否符合预期的结构化流程。

关键创新：StructFlowBench的关键创新在于引入了结构化流程的概念来评估LLM的多轮指令跟随能力。与以往侧重于约束满足的评估方法不同，StructFlowBench关注于对话轮次之间的结构化依赖关系，从而更全面地评估LLM的多轮对话能力。此外，StructFlowBench还提供了一种灵活的框架，可以根据不同的应用场景定制对话流程。

关键设计：StructFlowBench的关键设计包括六种轮次间关系的定义，以及基于LLM的自动评估流程。六种轮次间关系包括：Sequential, Conditional, Iterative, Parallel, Exception, and Completion。基于LLM的自动评估流程利用预训练的LLM作为评估器，判断模型生成的多轮对话是否符合预期的结构化流程。评估指标包括结构化流程的准确率和完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过对13个领先的开源和闭源LLM进行系统评估，StructFlowBench揭示了当前模型在理解多轮对话结构方面存在显著缺陷。实验结果表明，即使是强大的LLM，在处理复杂的结构化对话流程时，也难以达到令人满意的性能。这突显了StructFlowBench在评估和改进LLM多轮对话能力方面的重要价值。

🎯 应用场景

StructFlowBench可应用于开发和评估各种需要多轮对话能力的智能系统，例如智能客服、虚拟助手、任务型对话系统等。通过使用StructFlowBench，可以更好地评估和提升LLM在复杂对话场景中的表现，从而提高用户体验和系统效率。该基准还有助于推动多轮对话理解和生成领域的研究。

📄 摘要（原文）

Multi-turn instruction following capability constitutes a core competency of large language models (LLMs) in real-world applications. Existing evaluation benchmarks predominantly focus on fine-grained constraint satisfaction and domain-specific capability assessment, yet overlook the crucial structural dependencies between dialogue turns that distinguish multi-turn from single-turn interactions. These structural dependencies not only reflect user intent but also establish an essential second dimension for the instruction following evaluation beyond constraint satisfaction. To address this gap, we propose StructFlowBench, a multi-turn instruction following benchmark with structural flow modeling. The benchmark defines an innovative structural flow framework with six fundamental inter-turn relationships. These relationships introduce novel structural constraints for model evaluation and also serve as generation parameters for creating customized dialogue flows tailored to specific scenarios. Adopting established LLM-based automatic evaluation methodologies, we conduct systematic evaluations of 13 leading open-source and closed-source LLMs. Experimental results reveal significant deficiencies in current models' comprehension of multi-turn dialogue structures. The code is available at https://github.com/MLGroupJLU/StructFlowBench.