Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

📄 arXiv: 2502.19361v3 📥 PDF

作者: Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Zhicheng Zheng, Wenbo Su, Bo Zheng

分类: cs.CL

发布日期: 2025-02-26 (更新: 2025-03-30)

备注: The first four authors contributed equally, 27 pages

💡 一句话要点

DeltaBench：评估大语言模型在长链式推理中错误检测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 链式思维 错误检测 推理能力 基准测试

📋 核心要点

  1. 现有大型语言模型在复杂推理任务中表现不足，长链式思维（CoT）推理方法旨在提升其推理能力，但CoT的质量难以保证。
  2. 论文构建DeltaBench基准，包含多种模型生成的长CoT推理过程，用于评估现有模型检测CoT中错误的能力。
  3. 通过DeltaBench，论文分析了不同CoT生成模型的有效性，并评估了现有过程奖励模型（PRMs）和批评模型在错误检测方面的局限性。

📝 摘要（中文）

本文介绍DeltaBench，旨在评估现有大型语言模型（LLMs）对长链式思维（CoT）推理中错误的检测能力。DeltaBench包含由不同类o1模型（如QwQ、DeepSeek-R1）针对不同推理任务（如数学、代码、通用推理）生成的长CoT。通过DeltaBench，我们首先对生成的长CoT进行细粒度分析，以发现不同o1模型的有效性和效率。然后，我们对现有的过程奖励模型（PRMs）和批评模型进行广泛评估，以检测每个标注过程中的错误，旨在研究现有PRM和批评模型的边界和局限性。最后，我们希望DeltaBench能够指导开发者更好地理解其模型的长CoT推理能力。

🔬 方法详解

问题定义：论文旨在解决如何评估大型语言模型（LLMs）在长链式思维（CoT）推理中检测错误的能力。现有方法缺乏一个专门的基准来评估LLMs对长CoT推理过程的理解和批判能力，难以有效衡量LLMs在复杂推理任务中的可靠性。

核心思路：论文的核心思路是构建一个包含多种CoT推理过程的基准数据集DeltaBench，并利用该基准评估现有过程奖励模型（PRMs）和批评模型在检测CoT推理错误方面的表现。通过分析PRMs和批评模型的表现，可以了解LLMs在长CoT推理中的局限性，并指导模型改进。

技术框架：DeltaBench基准包含以下几个关键组成部分：1) 由不同o1-like模型（如QwQ、DeepSeek-R1）生成的长CoT推理过程；2) 针对不同推理任务（如数学、代码、通用推理）的CoT数据；3) 人工标注的CoT推理过程中的错误信息。评估流程包括：1) 使用PRMs和批评模型对DeltaBench中的CoT推理过程进行评估；2) 将PRMs和批评模型的评估结果与人工标注的错误信息进行比较；3) 分析PRMs和批评模型的性能指标，如准确率、召回率等。

关键创新：论文的关键创新在于构建了DeltaBench基准，该基准专门用于评估LLMs在长CoT推理中检测错误的能力。与现有基准相比，DeltaBench更加关注CoT推理过程的质量，并提供了人工标注的错误信息，从而可以更准确地评估LLMs的推理能力。

关键设计：DeltaBench中的CoT数据来源于不同的o1-like模型，以保证数据的多样性。CoT数据涵盖了多种推理任务，以评估LLMs在不同领域的推理能力。人工标注的错误信息包括错误的类型、位置和原因，以便进行更细粒度的分析。评估指标包括准确率、召回率、F1值等，以全面评估PRMs和批评模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了DeltaBench基准，并评估了现有PRMs和批评模型在错误检测方面的性能。实验结果表明，现有模型在检测长CoT推理中的错误方面仍存在局限性，尤其是在复杂推理任务中。DeltaBench的发布将为后续研究提供有价值的资源。

🎯 应用场景

该研究成果可应用于提升大型语言模型在复杂推理任务中的可靠性和准确性。通过DeltaBench，开发者可以更好地理解其模型的长CoT推理能力，并针对性地进行改进。此外，该研究还可以促进过程奖励模型和批评模型的发展，从而进一步提升LLMs的推理能力。

📄 摘要（原文）

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.