Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models
作者: Yang Sui, Yu-Neng Chuang, Guanchu Wang, Jiamu Zhang, Tianyi Zhang, Jiayi Yuan, Hongyi Liu, Andrew Wen, Shaochen Zhong, Na Zou, Hanjie Chen, Xia Hu
分类: cs.CL
发布日期: 2025-03-20 (更新: 2025-08-21)
备注: Accepted by TMLR 2025. Project website: https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs
🔗 代码/项目: GITHUB
💡 一句话要点
针对大语言模型推理效率低下问题，提出高效推理方法综述
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 高效推理 思维链 模型优化 提示工程 推理加速 知识蒸馏
📋 核心要点
- 现有大语言模型推理过程冗长，存在“过度思考”现象，导致计算开销大。
- 论文对现有高效推理方法进行系统性分类，包括模型优化、输出控制和提示工程。
- 综述还探讨了高效数据训练、小模型推理能力以及评估方法，为未来研究提供参考。
📝 摘要（中文）
大型语言模型（LLMs）在复杂任务中展现了卓越的能力。大型推理模型（LRMs）的最新进展，如OpenAI o1和DeepSeek-R1，通过利用监督微调（SFT）和强化学习（RL）技术来增强思维链（CoT）推理，进一步提高了系统2推理领域（如数学和编程）的性能。然而，虽然更长的CoT推理序列可以提高性能，但由于冗长和重复的输出，它们也带来了显著的计算开销，即所谓的“过度思考现象”。本文提供了第一个结构化的综述，系统地调查和探索了当前在LLM中实现高效推理的进展。总的来说，依靠LLM的内在机制，我们将现有的工作分为几个关键方向：（1）基于模型的有效推理，考虑将完整长度的推理模型优化为更简洁的推理模型或直接训练有效的推理模型；（2）基于推理输出的有效推理，旨在动态地减少推理步骤和推理长度；（3）基于输入提示的有效推理，旨在基于输入提示的属性（如难度或长度控制）来提高推理效率。此外，我们还介绍了使用有效数据来训练推理模型，探索小型语言模型的推理能力，并讨论评估方法和基准。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）在推理过程中存在的效率问题，特别是“过度思考”现象。现有的方法，如Chain-of-Thought (CoT) 推理，虽然可以提高性能，但往往会产生冗长和重复的输出，导致计算成本显著增加。因此，如何减少推理步骤和长度，提高推理效率，是本文要解决的核心问题。
核心思路：论文的核心思路是对现有的大语言模型高效推理方法进行系统性的分类和总结，并从模型本身、推理输出和输入提示三个主要角度进行分析。通过对这些方法的深入研究，旨在为未来的研究提供指导，并促进更高效的推理技术的发展。
技术框架：论文将现有的高效推理方法分为以下三个主要类别： 1. 基于模型的有效推理：侧重于优化模型结构或训练方法，以获得更简洁高效的推理模型。 2. 基于推理输出的有效推理：通过动态地减少推理步骤和长度来提高效率。 3. 基于输入提示的有效推理：利用输入提示的特性（如难度或长度控制）来引导模型进行更高效的推理。 此外，论文还探讨了使用高效数据训练推理模型、小型语言模型的推理能力以及评估方法和基准。
关键创新：论文的主要创新在于对现有高效推理方法进行了系统性的分类和总结，并从多个角度进行了深入分析。这是第一个针对LLM高效推理的结构化综述，为该领域的研究人员提供了一个全面的参考框架。通过对不同方法的优缺点进行比较，论文为未来的研究方向提供了有价值的见解。
关键设计：论文本身是一个综述，因此没有具体的参数设置、损失函数或网络结构等技术细节。然而，论文对现有方法的分类和分析，以及对未来研究方向的展望，都体现了作者对该领域深刻的理解和洞察力。论文强调了在模型优化、输出控制和提示工程等方面进行创新的重要性，并提出了利用高效数据和小型模型来提高推理效率的潜在方向。
🖼️ 关键图片
📊 实验亮点
该综述系统性地总结了现有大语言模型高效推理方法，并从模型、输出和提示三个角度进行了分类。论文还探讨了高效数据训练和小模型推理，为未来的研究提供了全面的参考框架和有价值的见解。
🎯 应用场景
该研究成果可应用于各种需要高效推理的场景，例如资源受限的设备、实时决策系统和大规模数据分析。通过降低计算成本和提高推理速度，可以使大语言模型在更广泛的领域得到应用，并促进人工智能技术的普及。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks. Recent advancements in Large Reasoning Models (LRMs), such as OpenAI o1 and DeepSeek-R1, have further improved performance in System-2 reasoning domains like mathematics and programming by harnessing supervised fine-tuning (SFT) and reinforcement learning (RL) techniques to enhance the Chain-of-Thought (CoT) reasoning. However, while longer CoT reasoning sequences improve performance, they also introduce significant computational overhead due to verbose and redundant outputs, known as the "overthinking phenomenon". In this paper, we provide the first structured survey to systematically investigate and explore the current progress toward achieving efficient reasoning in LLMs. Overall, relying on the inherent mechanism of LLMs, we categorize existing works into several key directions: (1) model-based efficient reasoning, which considers optimizing full-length reasoning models into more concise reasoning models or directly training efficient reasoning models; (2) reasoning output-based efficient reasoning, which aims to dynamically reduce reasoning steps and length during inference; (3) input prompts-based efficient reasoning, which seeks to enhance reasoning efficiency based on input prompt properties such as difficulty or length control. Additionally, we introduce the use of efficient data for training reasoning models, explore the reasoning capabilities of small language models, and discuss evaluation methods and benchmarking. Project website: https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs