FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving

📄 arXiv: 2502.20238v2 📥 PDF

作者: Guizhen Chen, Weiwen Xu, Hao Zhang, Hou Pong Chan, Chaoqun Liu, Lidong Bing, Deli Zhao, Anh Tuan Luu, Yu Rong

分类: cs.CL

发布日期: 2025-02-27 (更新: 2025-06-01)

备注: Accepted to ACL2025 Main

💡 一句话要点

FINEREASON：通过反思性解谜评估和提升LLM的审慎推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 逻辑谜题 细粒度评估 状态检查 状态转换 数学推理 反思性学习

📋 核心要点

  1. 现有基准测试侧重于最终答案准确性，忽略了对LLM中间推理步骤的细致评估，无法有效衡量其反思和纠错能力。
  2. FINEREASON通过逻辑谜题分解为原子步骤，实现对LLM推理过程的细粒度评估，并引入状态检查和状态转换任务。
  3. 通过在FINEREASON数据集上训练，模型在GSM8K数学推理任务上取得了显著提升，验证了该方法在提升LLM推理能力方面的有效性。

📝 摘要（中文）

许多具有挑战性的推理任务不仅需要快速、直观的反应，还需要更审慎、多步骤的方法。大型语言模型（LLM）的最新进展突显了从快速反应的“系统1”方式到反思和纠错问题解决的“系统2”风格的重要转变。然而，目前的基准测试严重依赖最终答案的准确性，而忽略了模型中间推理步骤的检查，无法评估模型在推理过程中反思和纠正错误的能力。为了弥补这一差距，我们引入了FINEREASON，这是一个用于细粒度评估LLM推理能力的逻辑谜题基准。每个谜题都可以分解为原子步骤，非常适合严格验证中间正确性。在此基础上，我们引入了两个任务：状态检查和状态转换，以全面评估模型如何评估当前情况并计划下一步行动。为了支持更广泛的研究，我们还提供了一个谜题训练集，旨在提高模型在一般数学任务上的表现。结果表明，在我们的状态检查和转换数据上训练的模型在GSM8K数学推理方面获得了高达5.1%的提升。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）推理评估benchmark主要依赖于最终答案的正确性，忽略了模型中间推理步骤的正确性验证。这使得我们难以评估模型在推理过程中反思和纠正错误的能力，也无法深入了解模型的推理过程。

核心思路：FINEREASON的核心思路是通过设计逻辑谜题，将复杂的推理过程分解为一系列原子步骤，从而可以对每个步骤的正确性进行验证。通过这种细粒度的评估，可以更全面地了解LLM的推理能力，并帮助模型更好地反思和纠正错误。

技术框架：FINEREASON包含以下几个主要组成部分：1) 逻辑谜题数据集：该数据集包含一系列逻辑谜题，每个谜题都可以分解为多个原子步骤。2) 状态检查任务：该任务要求模型判断当前状态是否正确。3) 状态转换任务：该任务要求模型根据当前状态和规则，预测下一步的状态。4) 训练集：提供用于训练模型的数据集，以提高模型在状态检查和状态转换任务上的表现。

关键创新：FINEREASON最重要的技术创新点在于其细粒度的评估方法。与传统的只关注最终答案的评估方法不同，FINEREASON可以对模型推理过程中的每个步骤进行验证，从而更全面地了解模型的推理能力。此外，状态检查和状态转换任务的设计，使得可以更直接地评估模型在推理过程中的反思和纠错能力。

关键设计：FINEREASON的关键设计包括：1) 逻辑谜题的设计：确保每个谜题都可以分解为多个原子步骤，并且每个步骤的正确性都可以明确判断。2) 状态检查任务的设计：要求模型对当前状态进行评估，并判断其是否符合规则。3) 状态转换任务的设计：要求模型根据当前状态和规则，预测下一步的状态，并评估其预测的正确性。训练集的设计：包含足够多的数据，以训练模型在状态检查和状态转换任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在FINEREASON数据集上进行训练后，模型在GSM8K数学推理任务上取得了显著提升，最高提升幅度达到5.1%。这表明FINEREASON提出的细粒度评估和训练方法能够有效提升LLM的推理能力。此外，实验还验证了状态检查和状态转换任务对于提升模型反思和纠错能力的重要性。

🎯 应用场景

FINEREASON的研究成果可应用于提升LLM在需要复杂推理的场景下的表现，例如数学问题求解、代码生成、知识图谱推理等。通过细粒度的推理过程评估和训练，可以提高LLM的可靠性和准确性，使其在实际应用中更具价值。此外，该研究也为LLM的可解释性研究提供了新的思路。

📄 摘要（原文）

Many challenging reasoning tasks require not just rapid, intuitive responses, but a more deliberate, multi-step approach. Recent progress in large language models (LLMs) highlights an important shift from the "System 1" way of quick reactions to the "System 2" style of reflection-and-correction problem solving. However, current benchmarks heavily rely on the final-answer accuracy, leaving much of a model's intermediate reasoning steps unexamined. This fails to assess the model's ability to reflect and rectify mistakes within the reasoning process. To bridge this gap, we introduce FINEREASON, a logic-puzzle benchmark for fine-grained evaluation of LLMs' reasoning capabilities. Each puzzle can be decomposed into atomic steps, making it ideal for rigorous validation of intermediate correctness. Building on this, we introduce two tasks: state checking, and state transition, for a comprehensive evaluation of how models assess the current situation and plan the next move. To support broader research, we also provide a puzzle training set aimed at enhancing performance on general mathematical tasks. We show that models trained on our state checking and transition data demonstrate gains in math reasoning by up to 5.1% on GSM8K.