Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique

📄 arXiv: 2503.17363v1 📥 PDF

作者: Yansi Li, Jiahao Xu, Tian Liang, Xingyu Chen, Zhiwei He, Qiuzhi Liu, Rui Wang, Zhuosheng Zhang, Zhaopeng Tu, Haitao Mi, Dong Yu

分类: cs.CL

发布日期: 2025-03-21

DOI: 10.13140/RG.2.2.27912.33289

🔗 代码/项目: GITHUB

💡 一句话要点

提出PANEL：利用自然语言自评判增强LLM推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 自然语言处理 自评判 推理时扩展

📋 核心要点

  1. 现有方法依赖标量奖励评估推理步骤，缺乏理解和解释步骤所需的细致定性信息。
  2. PANEL通过生成自然语言评判作为反馈，指导步骤级搜索，保留定性信息，提升决策质量。
  3. 实验表明，PANEL在AIME和GPQA等基准测试中显著提升推理性能，优于传统方法。

📝 摘要（中文）

本文提出了一种新颖的推理时扩展方法——逐步自然语言自评判（PANEL），旨在增强大型语言模型（LLM）在复杂推理任务中的能力。PANEL使用自生成的自然语言评判作为反馈，指导步骤级别的搜索过程。通过为每个候选推理步骤生成丰富且易于理解的评判，PANEL保留了重要的定性信息，从而在推理过程中做出更明智的决策。该方法避免了对特定任务验证器的需求以及相关的训练开销，使其能够广泛应用于各种任务。在具有挑战性的推理基准测试（包括AIME和GPQA）上的实验结果表明，PANEL显著提高了推理性能，优于传统的基于标量奖励的方法。代码已开源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在复杂推理任务中表现不足的问题，尤其是在需要多步骤逻辑推导的任务中。现有方法主要依赖于来自过程奖励模型的标量奖励信号来评估候选推理步骤，但这种标量奖励缺乏细致的定性信息，难以充分理解和解释每个步骤的合理性，限制了LLM的推理能力。

核心思路：论文的核心思路是利用LLM自身生成自然语言的评判（critique）来指导推理过程。不同于标量奖励，自然语言评判能够提供更丰富、更具解释性的反馈，帮助LLM更好地理解每个推理步骤的优劣，从而做出更明智的决策。这种自评判机制避免了对外部验证器的依赖，降低了训练成本。

技术框架：PANEL方法的整体框架包含以下几个主要阶段：1) LLM生成多个候选的推理步骤；2) LLM对每个候选步骤进行自评判，生成自然语言的评判文本；3) 基于这些评判文本，选择最优的推理步骤；4) 将选定的步骤添加到推理链中，重复上述过程，直到完成整个推理任务。该框架采用迭代的方式，逐步构建完整的推理路径。

关键创新：PANEL最关键的创新在于使用自然语言自评判作为反馈信号。与传统的标量奖励相比，自然语言评判具有更强的表达能力和可解释性，能够提供更丰富的上下文信息，帮助LLM更好地理解推理过程中的错误和不足。此外，PANEL避免了对任务特定验证器的依赖，使其具有更广泛的适用性。

关键设计：在具体实现上，论文可能涉及以下关键设计：1) 如何设计prompt，引导LLM生成高质量的评判文本？例如，可以要求LLM从逻辑性、完整性、相关性等方面对推理步骤进行评估。2) 如何利用评判文本选择最优的推理步骤？可以使用基于规则的方法，也可以训练一个模型来预测每个步骤的得分。3) 如何控制推理过程的探索程度？例如，可以设置一个阈值，只有当某个步骤的得分高于该阈值时才会被添加到推理链中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PANEL在AIME和GPQA等具有挑战性的推理基准测试中显著优于传统的基于标量奖励的方法。具体而言，PANEL在AIME上的性能提升了X%，在GPQA上的性能提升了Y%（具体数值未知，需查阅论文原文）。这些结果证明了自然语言自评判在增强LLM推理能力方面的有效性。

🎯 应用场景

PANEL方法具有广泛的应用前景，可以应用于各种需要复杂推理的任务，例如数学问题求解、科学推理、代码生成和问答系统。该方法能够提升LLM在这些任务中的准确性和可靠性，使其能够更好地服务于实际应用，例如自动化报告生成、智能决策支持和教育辅导等。

📄 摘要（原文）

Enhancing the reasoning capabilities of large language models (LLMs), particularly for complex tasks requiring multi-step logical deductions, remains a significant challenge. Traditional inference time scaling methods utilize scalar reward signals from process reward models to evaluate candidate reasoning steps, but these scalar rewards lack the nuanced qualitative information essential for understanding and justifying each step. In this paper, we propose a novel inference-time scaling approach -- stepwise natural language self-critique (PANEL), which employs self-generated natural language critiques as feedback to guide the step-level search process. By generating rich, human-readable critiques for each candidate reasoning step, PANEL retains essential qualitative information, facilitating better-informed decision-making during inference. This approach bypasses the need for task-specific verifiers and the associated training overhead, making it broadly applicable across diverse tasks. Experimental results on challenging reasoning benchmarks, including AIME and GPQA, demonstrate that PANEL significantly enhances reasoning performance, outperforming traditional scalar reward-based methods. Our code is available at https://github.com/puddingyeah/PANEL to support and encourage future research in this promising field.