Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models
作者: Ákos Prucs, Márton Csutora, Mátyás Antal, Márk Marosi
分类: cs.CL
发布日期: 2025-12-31
💡 一句话要点
针对开源推理大语言模型，构建计算-精度帕累托前沿，优化工业应用选型。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 推理能力 计算成本 帕累托前沿 模型选择
📋 核心要点
- 现有研究忽略了长推理序列带来的巨大计算负担，工业应用中模型选择需同时考虑精度和资源约束。
- 该研究通过测试时计算感知的评估，绘制开源LLM在推理基准上的帕累托前沿，寻找最佳平衡点。
- 实验表明混合专家（MoE）架构在性能和效率之间具有优势，并发现推理计算存在收益递减的饱和点。
📝 摘要（中文）
大型语言模型（LLM）在复杂推理基准测试中表现出快速的改进，尤其是在允许利用中间推理步骤以得出最终解决方案时。然而，目前的文献通常忽略了生成长推理序列相关的巨大计算负担。对于工业应用，模型选择不仅取决于原始精度，还取决于资源约束和推理成本。在这项工作中，我们对当代和较早的开源LLM进行了测试时计算感知的评估，绘制了它们在数学和推理密集型基准测试中的帕累托前沿。我们的研究结果表明，混合专家（MoE）架构是在我们的评估环境中平衡性能和效率的有力候选者。此外，我们追踪了帕累托效率随时间的变化轨迹，以得出关于单位计算的精度增益的新兴趋势。最后，我们证明了推理时计算存在饱和点。超过某个阈值，精度增益会减少，这表明虽然扩展的推理能力是有益的，但它们无法克服关于特定复杂性的内在模型限制。
🔬 方法详解
问题定义：现有的大语言模型在复杂推理任务上取得了显著进展，但往往忽略了推理过程中的计算成本。在实际工业应用中，模型选择不仅要考虑精度，还需要考虑计算资源的限制，例如推理延迟和硬件成本。因此，如何在精度和计算成本之间找到最佳平衡点是一个关键问题。
核心思路：该论文的核心思路是通过构建计算-精度帕累托前沿，来评估不同开源大语言模型在推理任务上的性能和效率。帕累托前沿能够清晰地展示在给定计算资源下，模型能够达到的最高精度，或者在给定精度要求下，模型所需的最低计算资源。这样，用户可以根据自身的需求，选择最合适的模型。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一系列具有代表性的开源大语言模型，包括不同架构和规模的模型；2) 选择一系列数学和推理密集型基准测试，用于评估模型的推理能力；3) 在测试时，测量模型的计算成本，例如推理时间和GPU利用率；4) 将模型的精度和计算成本绘制在二维坐标系中，构建帕累托前沿；5) 分析帕累托前沿，找出在不同计算资源下，性能最优的模型。
关键创新：该论文的关键创新在于提出了测试时计算感知的评估方法，将计算成本纳入模型评估的考量范围。以往的研究往往只关注模型的精度，而忽略了计算成本。该论文通过构建帕累托前沿，为用户提供了一个更加全面和实用的模型选择工具。此外，该研究还发现了混合专家（MoE）架构在平衡性能和效率方面的优势，以及推理计算存在收益递减的饱和点。
关键设计：在实验设计方面，该研究选择了多个具有代表性的开源大语言模型，包括不同架构（例如Transformer和MoE）和规模的模型。在基准测试方面，该研究选择了数学和推理密集型任务，以充分评估模型的推理能力。在计算成本测量方面，该研究使用了标准化的指标，例如推理时间和GPU利用率。在帕累托前沿构建方面，该研究使用了标准的算法，例如非支配排序遗传算法（NSGA-II）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，混合专家（MoE）架构在平衡性能和效率方面具有显著优势。在某些基准测试中，MoE模型能够在保持较高精度的同时，显著降低计算成本。此外，研究还发现推理计算存在饱和点，超过某个阈值，精度增益会显著降低。例如，在特定任务上，将推理时间增加一倍，精度提升可能只有几个百分点。
🎯 应用场景
该研究成果可应用于各种需要高性能和低计算成本的推理任务，例如智能客服、金融风控、医疗诊断等。通过选择帕累托前沿上的模型，企业可以在满足精度要求的同时，最大限度地降低计算成本，提高运营效率。此外，该研究还可以指导未来大语言模型的设计，使其更加注重计算效率。
📄 摘要（原文）
Large Language Models (LLMs) are demonstrating rapid improvements on complex reasoning benchmarks, particularly when allowed to utilize intermediate reasoning steps before converging on a final solution. However, current literature often overlooks the significant computational burden associated with generating long reasoning sequences. For industrial applications, model selection depends not only on raw accuracy but also on resource constraints and inference costs. In this work, we conduct a test-time-compute aware evaluation of both contemporary and older open-source LLMs, mapping their Pareto frontiers across math- and reasoning-intensive benchmarks. Our findings identify the Mixture of Experts (MoE) architecture as a strong candidate to balance performance and efficiency in our evaluation setting. Furthermore, we trace the trajectory of Pareto efficiency over time to derive an emergent trend regarding accuracy gain per unit of compute. Finally, we demonstrate that there is a saturation point for inference-time compute. Beyond a certain threshold, accuracy gains diminish, indicating that while extended reasoning capabilities are beneficial, they cannot overcome intrinsic model limitations regarding specific complexities.