Scaling Evaluation-time Compute with Reasoning Models as Process Evaluators
作者: Seungone Kim, Ian Wu, Jinu Lee, Xiang Yue, Seongyun Lee, Mingyeong Moon, Kiril Gashteovski, Carolin Lawrence, Julia Hockenmaier, Graham Neubig, Sean Welleck
分类: cs.CL
发布日期: 2025-03-25
备注: Work in progress
💡 一句话要点
利用推理模型作为过程评估器，提升评估阶段的计算规模
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型评估 推理模型 过程评估 链式推理 测试时计算 重排序 问题解决
📋 核心要点
- 现有语言模型评估方法难以准确衡量高质量输出，尤其是在复杂推理任务中。
- 提出利用推理模型作为评估器，通过评估生成过程中的每一步来提升评估质量。
- 实验表明，增加评估阶段的计算量（推理token数量）能显著提升评估器性能，并改善问题解决能力。
📝 摘要（中文）
随着语言模型（LM）的输出越来越自然，评估其质量变得前所未有的困难。同时，通过增加测试时计算量来延长LM的“思考”时间，已被证明是解决数学和代码等领域难题的有效技术。这引出了一个自然的问题：通过增加测试时计算量，LM的评估能力也能得到提高吗？为了回答这个问题，我们研究了使用推理模型——能够原生生成长链式推理的LM——作为评估器。具体来说，我们研究了通过以下方法利用更多的测试时计算：（1）使用推理模型，以及（2）提示这些模型不仅评估整个响应（即结果评估），还分别评估响应中的每个步骤（即过程评估）。在实验中，我们观察到，当生成更多的推理token时，评估器的性能单调提高，类似于在基于LM的生成中观察到的趋势。此外，我们使用这些更准确的评估器来重新排序多个生成结果，并证明在评估时花费更多的计算量，在提高LM的问题解决能力方面，可以与在生成时使用更多的计算量一样有效。
🔬 方法详解
问题定义：论文旨在解决语言模型评估质量不高的问题，尤其是在需要复杂推理的任务中。现有的评估方法通常只关注最终输出的结果，而忽略了生成过程中的推理步骤，这使得难以区分正确推理但最终结果错误的模型和错误推理但碰巧得到正确结果的模型。这种结果导向的评估方式无法准确反映模型的真实推理能力。
核心思路：论文的核心思路是将语言模型本身作为评估器，并不仅仅评估最终结果，而是评估生成过程中的每一个推理步骤。通过对每个步骤进行评估，可以更细粒度地了解模型的推理过程，从而更准确地评估模型的推理能力。这种方法借鉴了人类解决问题时逐步推理并检查每一步的思路。
技术框架：整体框架包含两个主要阶段：生成阶段和评估阶段。在生成阶段，使用语言模型生成多个可能的答案，每个答案都包含一系列的推理步骤。在评估阶段，使用另一个（或同一个）语言模型作为评估器，对每个答案的每一个推理步骤进行评估，并根据评估结果对所有答案进行排序。框架的关键在于使用链式推理（Chain-of-Thought, CoT）的语言模型作为评估器，使其能够理解和评估推理过程。
关键创新：最重要的技术创新点在于将过程评估引入语言模型评估中。与传统的只关注结果的评估方法不同，该方法能够深入分析模型的推理过程，从而更准确地评估模型的推理能力。此外，该方法还探索了增加评估阶段的计算量（推理token数量）对评估性能的影响，发现增加计算量可以显著提升评估器的准确性。
关键设计：关键设计包括：1) 使用链式推理（CoT）的语言模型作为评估器，使其能够理解和评估推理过程；2) 设计了针对每个推理步骤的评估提示，引导评估器关注推理的正确性和合理性；3) 通过增加评估阶段的计算量（推理token数量）来提升评估器的准确性；4) 使用重排序（reranking）技术，根据评估器的评估结果对多个生成结果进行排序，从而选择最佳答案。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用推理模型作为过程评估器可以显著提升评估的准确性。具体来说，随着评估阶段推理token数量的增加，评估器的性能单调提升。此外，通过使用更准确的评估器进行重排序，可以在问题解决能力上达到与增加生成阶段计算量相当的效果，这表明在评估阶段投入更多计算资源是有效的。
🎯 应用场景
该研究成果可应用于各种需要高质量语言模型输出的场景，例如自动问答系统、代码生成、数学问题求解等。通过更准确的评估，可以更好地选择和优化语言模型，提升其在实际应用中的性能和可靠性。此外，该方法还可以用于诊断语言模型的推理缺陷，指导模型改进。
📄 摘要（原文）
As language model (LM) outputs get more and more natural, it is becoming more difficult than ever to evaluate their quality. Simultaneously, increasing LMs' "thinking" time through scaling test-time compute has proven an effective technique to solve challenging problems in domains such as math and code. This raises a natural question: can an LM's evaluation capability also be improved by spending more test-time compute? To answer this, we investigate employing reasoning models-LMs that natively generate long chain-of-thought reasoning-as evaluators. Specifically, we examine methods to leverage more test-time compute by (1) using reasoning models, and (2) prompting these models to evaluate not only the response as a whole (i.e., outcome evaluation) but also assess each step in the response separately (i.e., process evaluation). In experiments, we observe that the evaluator's performance improves monotonically when generating more reasoning tokens, similar to the trends observed in LM-based generation. Furthermore, we use these more accurate evaluators to rerank multiple generations, and demonstrate that spending more compute at evaluation time can be as effective as using more compute at generation time in improving an LM's problem-solving capability.