Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization
作者: Huzi Cheng, Zhewei Zhang
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出潜在推理机制以解决深度泛化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度学习 多步推理 语言模型 泛化能力 潜在推理 图神经网络 递归搜索
📋 核心要点
- 现有的语言模型在处理多步推理时，虽然在分布内表现良好，但在面对更复杂的分布外问题时泛化能力不足。
- 本文提出了一种潜在推理机制，通过优化模型结构，支持可重用的前向搜索算法，从而提升深度泛化能力。
- 实验结果表明，潜在推理模型在长跳跃问题上表现优于传统模型，展示了更强的泛化能力和内部计算动态。
📝 摘要（中文）
大型语言模型能够通过不同形式的中间计算进行多步推理并提升任务性能。然而，现有研究尚未明确这些不同的思维形式是否依赖于相同的基础机制。为此，本文训练并比较了五种基于GPTNeoX的模型变体，发现传统模型在分布内表现良好，但在分布外泛化能力不足。相反，潜在推理模型展现出更好的泛化能力，并且其内部动态与图上的前向可达性传播一致。通过因果干预和电路分析，定位到稀疏的递归搜索电路，展示了不同思维机制能够学习到不同的计算解决方案。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多步推理任务中，尤其是面对分布外问题时的泛化能力不足。现有的模型如Vanilla、Chain-of-Thought和Pause Token在分布内表现良好，但在处理更复杂的推理时显得力不从心。
核心思路：论文提出了一种新的潜在推理机制，旨在通过优化模型的内部结构，支持一种可重用的前向搜索算法，从而提高模型在深度推理任务中的泛化能力。
技术框架：整体架构包括五种模型变体：Vanilla模型、Chain-of-Thought模型、Pause Token模型以及两个潜在推理模型。潜在推理模型通过端到端优化，避免了中间推理轨迹的依赖，直接在潜在空间中进行计算。
关键创新：最重要的技术创新在于识别出稀疏的递归搜索电路，该电路通过注意力头检索图关系，利用多层感知机和残差流更新可达性状态，从而实现更高效的推理过程。这与传统模型依赖局部图特征的方式有本质区别。
关键设计：在模型设计中，采用了特定的参数设置和损失函数，以确保潜在推理模型能够有效学习到图的结构特征。同时，注意力机制的多头设计使得模型能够在多个步骤中进行候选匹配，增强了推理的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，潜在推理模型在ProsQA-Ext任务上，相较于传统模型在长跳跃推理中的泛化能力显著提升，尤其在处理分布外问题时，表现出更强的鲁棒性和准确性，验证了新机制的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的复杂推理任务、智能问答系统以及对话系统等。通过提升模型的泛化能力，能够更好地应对实际应用中遇到的多样化问题，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large Language Models can perform multi-step reasoning and improve task performance through different forms of intermediate computation, from token-based traces to computation carried out in latent space. However, a question remains open: do these different forms of thinking rely on the same underlying mechanism? To address this, we train and compare five variants of the same GPTNeoX backbone from scratch on an extended multi-hop reasoning task (ProsQA-Ext): a vanilla model, a Chain-of-Thought (CoT) model, a Pause Token model, and two latent-reasoning models that are optimized end-to-end without intermediate reasoning traces. We find that, strong in-distribution (ID) performance does not guarantee depth generalization. Vanilla, CoT, and Pause Token models solve ID problems well, but rely largely on local graph features and generalize poorly to out-of-distribution (OOD) problems with longer hops. In contrast, latent variants generalize better and show internal dynamics consistent with forward reachability propagation on the graph. Causal interventions and circuit analysis localize this computation to a sparse recurrent search circuit in the bottleneck latent model: an attention head retrieves graph relations, an MLP and the residual stream update the reachability state across recurrent steps, while multiple attention heads together then do the candidate matching. Together, these results show that different thinking mechanisms can learn distinct computational solutions, even at similar ID performance. In this setting, latent recurrence supports a reusable forward-search algorithm that generalizes beyond the training depth.