Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space
作者: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang
分类: cs.CL, cs.AI
发布日期: 2025-05-21
🔗 代码/项目: GITHUB
💡 一句话要点
提出Soft Thinking，在连续概念空间中提升LLM的推理能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 推理 思维链 连续概念空间 soft token
📋 核心要点
- 现有推理模型受限于离散token，表达能力受限，导致推理路径探索不完整。
- Soft Thinking通过生成连续概念空间中的soft概念token，模拟人类的抽象推理。
- 实验表明，Soft Thinking在提升准确率的同时，还能减少token使用量，并保持输出的可解释性。
📝 摘要（中文）
人类认知通常涉及通过抽象、流畅的概念进行思考，而非严格使用离散的语言token。然而，当前的推理模型受限于人类语言的边界内进行推理，处理代表语义空间中固定点的离散token嵌入。这种离散约束限制了推理模型的表达能力和上限，导致推理路径探索不完整，因为标准的思维链（CoT）方法依赖于每步采样一个token。本文提出Soft Thinking，一种无需训练的方法，通过在连续概念空间中生成soft、抽象的概念token来模拟类人“soft”推理。这些概念token由token嵌入的概率加权混合创建，形成连续概念空间，实现平滑过渡和更丰富的表示，超越了传统的离散边界。本质上，每个生成的概念token封装了来自相关离散token的多种含义，隐式地探索各种推理路径，从而有效地收敛到正确的答案。在各种数学和编码基准上的实证评估一致表明Soft Thinking的有效性和效率，在pass@1准确率上提高了高达2.48个百分点，同时与标准CoT相比，token使用量减少了高达22.4%。定性分析进一步表明，Soft Thinking的输出仍然具有高度的可解释性和可读性，突出了Soft Thinking打破基于离散语言推理的固有瓶颈的潜力。
🔬 方法详解
问题定义：现有的大语言模型（LLM）推理方法，如思维链（Chain-of-Thought, CoT），依赖于离散的token序列进行推理。这种离散性限制了模型探索更广泛的推理路径，因为每一步只能选择一个token，导致推理过程容易陷入局部最优，无法充分利用语义空间中的信息。因此，如何突破离散token的限制，提升LLM的推理能力是一个关键问题。
核心思路：Soft Thinking的核心思想是模拟人类的“soft”推理方式，即在连续的概念空间中进行推理，而不是局限于离散的语言token。通过将多个token的嵌入进行概率加权混合，生成soft概念token，每个概念token代表了多个相关token的语义信息，从而允许模型在推理过程中探索更丰富的语义空间。
技术框架：Soft Thinking是一种无需训练的方法，可以直接应用于现有的LLM推理框架。其主要流程如下：1) 在推理的每一步，不是直接选择一个token，而是计算所有token的概率分布。2) 基于这个概率分布，对所有token的嵌入进行加权平均，得到一个soft概念token。3) 将这个soft概念token输入到LLM中，进行下一步的推理。4) 重复上述步骤，直到得到最终的答案。
关键创新：Soft Thinking最重要的创新点在于它打破了传统LLM推理中离散token的限制，引入了连续概念空间。通过soft概念token，模型可以同时考虑多个token的语义信息，从而更全面地探索推理路径，避免陷入局部最优。这与传统的CoT方法依赖于单一token的采样有本质区别。
关键设计：Soft Thinking的关键设计在于如何计算token的概率分布，并如何将这些概率用于加权平均token嵌入。论文中使用了标准的softmax函数来计算token的概率分布。加权平均token嵌入的具体公式为：soft_token = Σ (p_i * embedding_i)，其中p_i是第i个token的概率，embedding_i是第i个token的嵌入向量。没有涉及到复杂的网络结构或损失函数的设计。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Soft Thinking在多个数学和编码基准测试中均取得了显著的性能提升。例如，在某些任务上，Soft Thinking的pass@1准确率提高了高达2.48个百分点，同时token使用量减少了高达22.4%。这些结果表明，Soft Thinking是一种有效且高效的LLM推理方法。
🎯 应用场景
Soft Thinking具有广泛的应用前景，可以应用于各种需要复杂推理的任务中，例如数学问题求解、代码生成、常识推理等。该方法能够提升LLM在这些任务上的性能，并减少计算资源的消耗。此外，Soft Thinking的输出具有高度的可解释性，有助于理解LLM的推理过程，并为改进LLM的设计提供指导。
📄 摘要（原文）
Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.