Decoding the Critique Mechanism in Large Reasoning Models

📄 arXiv: 2603.16331v1 📥 PDF

作者: Hoang Phan, Quang H. Nguyen, Hung T. Q. Le, Xiusi Chen, Heng Ji, Khoa D. Doan

分类: cs.LG

发布日期: 2026-03-17

🔗 代码/项目: GITHUB

💡 一句话要点

揭示大语言推理模型中的批判机制，并提出基于批判向量的性能提升方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理模型 批判机制 自我验证 错误检测

📋 核心要点

  1. 现有大语言推理模型缺乏对自身推理过程错误的有效检测与纠正机制，导致性能瓶颈。
  2. 通过在推理过程中引入错误，分析模型如何从错误中恢复，从而揭示模型内部的批判能力。
  3. 提出一种基于批判向量的方法，通过引导潜在表示来提高模型的错误检测能力和推理性能。

📝 摘要（中文）

大型推理模型(LRM)展现出回溯和自我验证机制，使其能够修正中间步骤并获得正确的解决方案，从而在复杂的逻辑基准测试中表现出强大的性能。我们假设，只有当模型具有足够强大的“批判”能力来检测自身错误时，这种行为才是有益的。本文系统地研究了当前的LRM如何从错误中恢复，方法是在其中间推理步骤中插入算术错误。值得注意的是，我们发现了一种特殊但重要的现象：尽管错误通过思维链(CoT)传播，导致了不正确的中间结论，但模型仍然达到了正确的最终答案。这种恢复意味着模型必须具有一种内部机制来检测错误并触发自我纠正，我们称之为隐藏的批判能力。基于特征空间分析，我们识别出一个高度可解释的批判向量来表示这种行为。跨多个模型规模和系列的广泛实验表明，使用该向量引导潜在表示可以提高模型的错误检测能力，并在不增加额外训练成本的情况下增强测试时缩放的性能。我们的发现为理解LRM的批判行为提供了有价值的见解，为控制和改进其自我验证机制提供了一个有希望的方向。

🔬 方法详解

问题定义：论文旨在解决大型推理模型（LRM）在复杂推理任务中，即使中间步骤出现错误，最终仍能得到正确答案的现象背后的机制问题。现有方法缺乏对这种“隐藏批判能力”的理解和利用，导致模型在错误检测和自我纠正方面存在局限性，无法充分发挥LRM的推理潜力。

核心思路：论文的核心思路是通过在LRM的推理过程中人为引入错误，观察模型如何从这些错误中恢复，从而揭示模型内部的批判机制。通过特征空间分析，提取出代表这种批判行为的“批判向量”，并利用该向量引导模型的潜在表示，从而提高模型的错误检测能力和推理性能。

技术框架：论文的技术框架主要包括以下几个步骤：1) 在LRM的推理过程中插入算术错误；2) 分析模型在错误传播过程中的行为，观察其是否能够纠正错误并得到正确答案；3) 通过特征空间分析，提取出代表批判行为的批判向量；4) 利用批判向量引导模型的潜在表示，提高模型的错误检测能力和推理性能；5) 在多个模型规模和系列上进行实验，验证方法的有效性。

关键创新：论文最重要的技术创新点在于发现了LRM中隐藏的批判能力，并提出了利用批判向量引导潜在表示来提高模型性能的方法。与现有方法相比，该方法无需额外的训练成本，即可有效提高模型的错误检测能力和推理性能。

关键设计：论文的关键设计包括：1) 如何在推理过程中插入具有代表性的错误；2) 如何通过特征空间分析提取出有效的批判向量；3) 如何设计引导潜在表示的机制，以最大程度地利用批判向量的信息。具体的参数设置、损失函数、网络结构等技术细节在论文中进行了详细描述，但此处未提供具体数值。

📊 实验亮点

实验结果表明，通过使用批判向量引导潜在表示，可以有效提高模型的错误检测能力和推理性能。在多个模型规模和系列上的实验均取得了显著的提升，且无需额外的训练成本。例如，在测试时缩放的性能方面，该方法也表现出良好的效果。

🎯 应用场景

该研究成果可应用于提升大语言模型在各种需要复杂推理能力的场景中的性能，例如智能问答、代码生成、数学问题求解等。通过增强模型的自我验证和纠错能力，可以提高模型的可靠性和准确性，使其在实际应用中更具价值。此外，该研究也为理解和控制大语言模型的内部机制提供了新的思路。

📄 摘要（原文）

Large Reasoning Models (LRMs) exhibit backtracking and self-verification mechanisms that enable them to revise intermediate steps and reach correct solutions, yielding strong performance on complex logical benchmarks. We hypothesize that such behaviors are beneficial only when the model has sufficiently strong "critique" ability to detect its own mistakes. This work systematically investigates how current LRMs recover from errors by inserting arithmetic mistakes in their intermediate reasoning steps. Notably, we discover a peculiar yet important phenomenon: despite the error propagating through the chain-of-thought (CoT), resulting in an incorrect intermediate conclusion, the model still reaches the correct final answer. This recovery implies that the model must possess an internal mechanism to detect errors and trigger self-correction, which we refer to as the hidden critique ability. Building on feature space analysis, we identify a highly interpretable critique vector representing this behavior. Extensive experiments across multiple model scales and families demonstrate that steering latent representations with this vector improves the model's error detection capability and enhances the performance of test-time scaling at no extra training cost. Our findings provide a valuable understanding of LRMs' critique behavior, suggesting a promising direction to control and improve their self-verification mechanism. Our code is available at https://github.com/mail-research/lrm-critique-vectors.