MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation

📄 arXiv: 2505.17123v2 📥 PDF

作者: Xiaoyuan Li, Keqin Bao, Yubo Ma, Moxin Li, Wenjie Wang, Rui Men, Yichang Zhang, Fuli Feng, Dayiheng Liu, Junyang Lin

分类: cs.CL

发布日期: 2025-05-21 (更新: 2025-05-26)

备注: Under Review

💡 一句话要点

MTR-Bench：构建多轮推理综合评测基准，揭示LLM交互推理能力不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮推理 大型语言模型 基准测试 交互式AI 自动化评估

📋 核心要点

  1. 现有LLM评测侧重单轮推理，缺乏对交互式多轮推理能力的全面评估。
  2. MTR-Bench通过构建包含多样任务和难度等级的数据集，并设计全自动评估框架，填补了这一空白。
  3. 实验表明，现有LLM在MTR-Bench上表现不佳，为未来交互式AI研究提供了重要方向。

📝 摘要（中文）

本文提出了MTR-Bench，一个用于评估大型语言模型（LLMs）多轮推理能力的综合基准。现有评估主要集中在单轮推理场景，而忽略了交互式任务。MTR-Bench包含4个类别、40个任务和3600个实例，覆盖了多样化的推理能力和细粒度的难度等级，并需要与环境进行多轮交互。MTR-Bench还具有全自动化的框架，涵盖数据集构建和模型评估，实现了无需人工干预的可扩展评估。大量实验表明，即使是最先进的推理模型在多轮交互式推理任务中也表现不足。对这些结果的进一步分析为交互式AI系统的未来研究提供了有价值的见解。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在复杂推理任务中取得了显著进展，但目前的评估方法主要集中在单轮推理场景，缺乏对LLMs在交互式多轮推理任务中能力的全面评估。现有的数据集和评估协议难以满足对多轮交互推理能力进行细致评估的需求，阻碍了交互式AI系统的发展。

核心思路：MTR-Bench的核心思路是构建一个综合性的基准测试，该基准测试包含多样化的任务、细粒度的难度等级，并且需要与环境进行多轮交互。通过这种方式，可以更全面地评估LLMs在真实世界交互场景中的推理能力。同时，设计全自动化的评估框架，降低评估成本，提高评估效率。

技术框架：MTR-Bench的整体框架包括数据集构建和模型评估两个主要部分。数据集构建部分涵盖了4个类别、40个任务和3600个实例，这些任务覆盖了不同的推理能力，并具有不同的难度等级。模型评估部分则采用全自动化的评估流程，无需人工干预即可完成模型性能的评估。该框架支持对LLM进行多轮交互，并记录交互过程中的状态和反馈。

关键创新：MTR-Bench的关键创新在于其综合性和自动化。它不仅提供了多样化的多轮推理任务，而且还实现了全自动化的评估流程。这种自动化评估流程使得可以大规模地评估LLMs的交互式推理能力，而无需大量的人工干预。此外，MTR-Bench还提供了细粒度的难度等级，可以更精确地评估LLMs在不同难度级别上的表现。

关键设计：MTR-Bench的数据集构建过程中，针对不同类型的推理任务，设计了相应的环境和交互协议。例如，对于需要与环境进行交互的任务，设计了相应的API和状态表示。在模型评估过程中，采用了多种评估指标，包括准确率、召回率和F1值等，以全面评估LLMs的性能。此外，还设计了相应的奖励机制，以鼓励LLMs更好地完成任务。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，即使是最先进的LLM在MTR-Bench上也表现出明显的不足，尤其是在需要复杂推理和多轮交互的任务中。这表明现有模型在交互式推理方面仍有很大的提升空间。MTR-Bench的评估结果为未来交互式AI系统的研究提供了重要的参考。

🎯 应用场景

MTR-Bench可用于评估和提升LLM在对话系统、游戏AI、智能助手等需要多轮交互和推理的场景中的性能。通过该基准，研究人员可以更好地了解LLM的交互推理能力，并开发更强大的交互式AI系统，从而在实际应用中提供更智能、更自然的交互体验。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have shown promising results in complex reasoning tasks. However, current evaluations predominantly focus on single-turn reasoning scenarios, leaving interactive tasks largely unexplored. We attribute it to the absence of comprehensive datasets and scalable automatic evaluation protocols. To fill these gaps, we present MTR-Bench for LLMs' Multi-Turn Reasoning evaluation. Comprising 4 classes, 40 tasks, and 3600 instances, MTR-Bench covers diverse reasoning capabilities, fine-grained difficulty granularity, and necessitates multi-turn interactions with the environments. Moreover, MTR-Bench features fully-automated framework spanning both dataset constructions and model evaluations, which enables scalable assessment without human interventions. Extensive experiments reveal that even the cutting-edge reasoning models fall short of multi-turn, interactive reasoning tasks. And the further analysis upon these results brings valuable insights for future research in interactive AI systems.