When Does Reasoning Matter? A Controlled Study of Reasoning's Contribution to Model Performance

📄 arXiv: 2509.22193v1 📥 PDF

作者: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

分类: cs.CL

发布日期: 2025-09-26

💡 一句话要点

研究推理能力对大语言模型性能的影响，揭示其在不同任务和模型规模下的有效性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理能力 指令微调 合成数据 模型性能

📋 核心要点

  1. 现有研究对推理能力在不同任务和模型规模下的有效性，以及训练和推理成本的探索不足。
  2. 论文采用合成数据蒸馏框架，通过大规模监督研究，对比指令微调（IFT）和推理模型。
  3. 实验表明，推理能够持续提高模型性能，尤其是在推理密集型和开放式任务上，优于大型IFT模型。

📝 摘要（中文）

大型语言模型（LLM）凭借其推理能力，在各种任务上取得了最先进的性能。尽管其经验上的成功，但推理变得有效的任务和模型规模，以及其训练和推理成本，仍未得到充分探索。在这项工作中，我们依赖于合成数据蒸馏框架来进行大规模的监督研究。我们比较了指令微调（IFT）和不同大小的推理模型，涵盖了广泛的以数学为中心和通用任务，评估了多项选择和开放式格式。我们的分析表明，推理能够持续提高模型性能，通常匹配或超过明显更大的IFT系统。值得注意的是，虽然IFT在训练和推理成本方面仍然是帕累托最优的，但随着模型规模的扩大，推理模型变得越来越有价值，克服了IFT在推理密集型和开放式任务上的性能限制。

🔬 方法详解

问题定义：现有的大语言模型在各种任务上表现出色，但推理能力何时以及如何有效提升模型性能，特别是在不同任务类型和模型规模下，仍然缺乏深入研究。此外，推理能力的训练和推理成本也需要进一步分析。现有方法，如单纯的指令微调（IFT），可能在推理密集型任务上存在性能瓶颈。

核心思路：论文的核心思路是通过控制变量的方式，系统性地研究推理能力对模型性能的影响。具体而言，通过合成数据蒸馏框架，生成可控的训练数据，并对比不同大小的IFT模型和推理模型在各种任务上的表现。这种方法能够更清晰地揭示推理能力在不同场景下的价值。

技术框架：论文采用的框架主要包括以下几个阶段：1) 数据合成：利用合成数据蒸馏框架生成包含不同推理难度的数学和通用任务数据。2) 模型训练：训练不同大小的IFT模型和推理模型。3) 性能评估：在多项选择和开放式格式的任务上评估模型的性能。4) 成本分析：分析训练和推理的成本，比较不同模型的效率。

关键创新：论文的关键创新在于：1) 系统性的对比研究：通过控制变量，系统性地研究了推理能力对模型性能的影响，揭示了推理能力在不同任务和模型规模下的价值。2) 合成数据蒸馏框架的应用：利用合成数据蒸馏框架生成可控的训练数据，为研究推理能力提供了便利。

关键设计：论文的关键设计包括：1) 任务选择：选择了以数学为中心和通用任务，涵盖了不同类型的推理需求。2) 模型规模：训练了不同大小的IFT模型和推理模型，以便研究模型规模对推理能力的影响。3) 评估指标：采用了多项选择和开放式格式的任务，以便全面评估模型的性能。4) 成本分析：分析了训练和推理的成本，以便比较不同模型的效率。

📊 实验亮点

实验结果表明，推理能力能够持续提高模型性能，通常匹配或超过明显更大的IFT系统。尤其是在推理密集型和开放式任务上，推理模型能够克服IFT的性能限制。虽然IFT在训练和推理成本方面仍然是帕累托最优的，但随着模型规模的扩大，推理模型变得越来越有价值。

🎯 应用场景

该研究成果可应用于指导大语言模型的训练和部署，尤其是在需要复杂推理的任务中。通过了解推理能力在不同任务和模型规模下的有效性，可以更有效地利用计算资源，训练出更强大的模型。此外，该研究还可以促进对大语言模型推理机制的理解，为未来的模型设计提供指导。

📄 摘要（原文）

Large Language Models (LLMs) with reasoning capabilities have achieved state-of-the-art performance on a wide range of tasks. Despite its empirical success, the tasks and model scales at which reasoning becomes effective, as well as its training and inference costs, remain underexplored. In this work, we rely on a synthetic data distillation framework to conduct a large-scale supervised study. We compare Instruction Fine-Tuning (IFT) and reasoning models of varying sizes, on a wide range of math-centric and general-purpose tasks, evaluating both multiple-choice and open-ended formats. Our analysis reveals that reasoning consistently improves model performance, often matching or surpassing significantly larger IFT systems. Notably, while IFT remains Pareto-optimal in training and inference costs, reasoning models become increasingly valuable as model size scales, overcoming IFT performance limits on reasoning-intensive and open-ended tasks.