Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling

📄 arXiv: 2502.06703v1 📥 PDF

作者: Runze Liu, Junqi Gao, Jian Zhao, Kaiyan Zhang, Xiu Li, Biqing Qi, Wanli Ouyang, Bowen Zhou

分类: cs.CL

发布日期: 2025-02-10

💡 一句话要点

提出计算最优的测试时缩放策略，使小模型在复杂任务上超越大模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时缩放 大型语言模型 计算优化 推理效率 数学问题求解

📋 核心要点

  1. 现有测试时缩放(TTS)研究缺乏对策略模型、过程奖励模型(PRM)和问题难度等因素的系统分析，限制了其理解和应用。
  2. 论文提出一种计算最优的TTS策略，通过调整计算资源分配，使小模型在特定任务和模型下达到最佳性能。
  3. 实验结果表明，通过该策略，小模型在MATH-500和AIME24等复杂任务上可以超越更大的模型，并具有更高的推理效率。

📝 摘要（中文）

测试时缩放(TTS)是一种通过在推理阶段使用额外计算来提高大型语言模型(LLM)性能的重要方法。然而，目前的研究没有系统地分析策略模型、过程奖励模型(PRM)和问题难度如何影响TTS，这限制了对TTS方法的理解和实际应用。本文关注两个核心问题：(1)针对不同的策略模型、PRM和问题难度，扩展测试时计算的最佳方法是什么？(2)扩展计算能在多大程度上提高LLM在复杂任务上的性能？小模型能否通过这种方法超越大模型？通过在MATH-500和具有挑战性的AIME24任务上的综合实验，我们观察到：(1)计算最优的TTS策略高度依赖于策略模型、PRM和问题难度的选择。(2)通过计算最优的TTS策略，极小的策略模型可以超越更大的模型。例如，一个1B LLM可以在MATH-500上超过一个405B LLM。此外，在MATH-500和AIME24上，一个0.5B LLM优于GPT-4o，一个3B LLM超过一个405B LLM，一个7B LLM胜过o1和DeepSeek-R1，同时具有更高的推理效率。这些发现表明，根据每个任务和模型的具体特征调整TTS策略非常重要，并表明TTS是增强LLM推理能力的一种有前景的方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型测试时缩放(TTS)策略选择的问题。现有TTS方法缺乏对策略模型、过程奖励模型(PRM)和问题难度等因素的系统分析，导致计算资源分配不合理，无法充分发挥TTS的潜力。现有方法难以确定针对特定任务和模型的最佳计算扩展策略，限制了TTS的实际应用效果。

核心思路：论文的核心思路是根据策略模型、PRM和问题难度的不同，自适应地调整测试时计算的分配策略。通过实验分析不同因素对TTS效果的影响，找到计算最优的缩放策略，使模型在给定计算资源下达到最佳性能。这种方法旨在克服现有TTS方法缺乏针对性和灵活性的缺点。

技术框架：论文的技术框架主要包括以下几个部分：首先，定义了测试时缩放(TTS)问题，并确定了影响TTS效果的关键因素，如策略模型、PRM和问题难度。其次，设计了实验方案，在MATH-500和AIME24等数据集上评估不同TTS策略的性能。然后，通过实验数据分析，找到了计算最优的TTS策略，并验证了小模型通过该策略超越大模型的能力。

关键创新：论文最重要的技术创新点在于提出了计算最优的TTS策略。与现有TTS方法不同，该策略不是简单地增加计算资源，而是根据策略模型、PRM和问题难度的不同，自适应地调整计算资源的分配。这种方法能够更有效地利用计算资源，提高模型的推理性能。

关键设计：论文的关键设计包括：(1)针对不同的策略模型和PRM，设计了不同的计算扩展策略，例如，对某些模型采用更深层次的搜索，而对另一些模型则采用更广泛的搜索。(2)根据问题难度的不同，调整计算资源的分配，例如，对难题分配更多的计算资源。(3)通过实验数据分析，确定了计算最优的TTS策略，并验证了该策略的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过计算最优的TTS策略，一个1B LLM可以在MATH-500上超过一个405B LLM。此外，在MATH-500和AIME24上，一个0.5B LLM优于GPT-4o，一个3B LLM超过一个405B LLM，一个7B LLM胜过o1和DeepSeek-R1，同时具有更高的推理效率。这些结果表明，通过合理的计算资源分配，小模型可以在复杂任务上取得优异的性能。

🎯 应用场景

该研究成果可应用于各种需要大型语言模型进行推理的任务，例如数学问题求解、代码生成、文本摘要等。通过采用计算最优的TTS策略，可以在计算资源有限的情况下，提高模型的推理性能，降低部署成本。该研究还有助于推动小型语言模型的发展，使其在特定任务上能够与大型模型竞争。

📄 摘要（原文）

Test-Time Scaling (TTS) is an important method for improving the performance of Large Language Models (LLMs) by using additional computation during the inference phase. However, current studies do not systematically analyze how policy models, Process Reward Models (PRMs), and problem difficulty influence TTS. This lack of analysis limits the understanding and practical use of TTS methods. In this paper, we focus on two core questions: (1) What is the optimal approach to scale test-time computation across different policy models, PRMs, and problem difficulty levels? (2) To what extent can extended computation improve the performance of LLMs on complex tasks, and can smaller language models outperform larger ones through this approach? Through comprehensive experiments on MATH-500 and challenging AIME24 tasks, we have the following observations: (1) The compute-optimal TTS strategy is highly dependent on the choice of policy model, PRM, and problem difficulty. (2) With our compute-optimal TTS strategy, extremely small policy models can outperform larger models. For example, a 1B LLM can exceed a 405B LLM on MATH-500. Moreover, on both MATH-500 and AIME24, a 0.5B LLM outperforms GPT-4o, a 3B LLM surpasses a 405B LLM, and a 7B LLM beats o1 and DeepSeek-R1, while with higher inference efficiency. These findings show the significance of adapting TTS strategies to the specific characteristics of each task and model and indicate that TTS is a promising approach for enhancing the reasoning abilities of LLMs.