LLM Reasoning Is Latent, Not the Chain of Thought

📄 arXiv: 2604.15726v1 📥 PDF

作者: Wenshuo Wang

分类: cs.AI

发布日期: 2026-04-17

💡 一句话要点

重新审视LLM推理：潜在状态轨迹而非显式思维链

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理机制 思维链 潜在状态 可解释性

📋 核心要点

  1. 现有研究过度关注LLM的显式思维链，忽略了潜在状态轨迹在推理中的作用，导致对LLM推理机制理解的偏差。
  2. 论文提出将LLM推理视为潜在状态轨迹的形成过程，并形式化了三种假设，强调潜在状态在推理中的主导地位。
  3. 通过对现有研究的重新组织和计算审计示例，论文论证了潜在状态轨迹假设的合理性，并提出了未来研究方向。

📝 摘要（中文）

本文提出，大型语言模型（LLM）的推理应该被研究为潜在状态轨迹的形成，而不是作为忠实的表面思维链（CoT）。这一点至关重要，因为关于忠实性、可解释性、推理基准和推理时干预的论断都取决于该领域将推理的主要对象视为何物。我们区分了三个经常混淆的因素，并形式化了三个相互竞争的假设：H1，推理主要由潜在状态轨迹介导；H2，推理主要由显式表面CoT介导；H0，大多数明显的推理增益可以通过通用的串行计算来更好地解释，而不是通过任何特权表示对象。通过在这个框架下重新组织最近的经验性、机制性和调查性工作，并添加分解表面痕迹、潜在干预和匹配预算扩展的计算审计工作示例，我们发现，目前的证据最强烈地支持H1作为默认的工作假设，而不是作为独立于任务的结论。因此，我们提出两项建议：该领域应将潜在状态动态作为LLM推理的默认研究对象，并应使用明确分离表面痕迹、潜在状态和串行计算的设计来评估推理。

🔬 方法详解

问题定义：现有研究通常将大型语言模型（LLM）的推理过程视为显式的思维链（Chain-of-Thought, CoT），即模型通过一步步的推理步骤来得出最终答案。然而，这种观点可能忽略了LLM内部的潜在状态在推理过程中所起到的关键作用。现有的CoT方法可能无法真正解释LLM的推理能力，并且可能导致对LLM的忠实性、可解释性等方面的误解。

核心思路：论文的核心思路是将LLM的推理过程视为潜在状态轨迹的形成，而不是仅仅关注显式的CoT。这意味着LLM在推理过程中会经历一系列内部状态的变化，这些状态的变化才是真正驱动推理的关键。通过研究这些潜在状态的动态变化，可以更深入地理解LLM的推理机制。

技术框架：论文并没有提出一个具体的模型架构或算法，而是一个研究框架。该框架包括三个相互竞争的假设：H1：推理主要由潜在状态轨迹介导；H2：推理主要由显式表面CoT介导；H0：推理增益可以通过通用串行计算解释。论文通过重新组织现有的经验性、机制性和调查性工作，并添加计算审计示例来评估这三个假设。

关键创新：论文的创新点在于提出了一个全新的视角来看待LLM的推理过程，即从潜在状态轨迹的角度出发。这种视角挑战了传统的CoT观点，并为未来的LLM推理研究提供了新的方向。论文还强调了区分表面痕迹、潜在状态和串行计算的重要性，这有助于更准确地评估LLM的推理能力。

关键设计：论文的关键设计在于通过计算审计示例来分解表面痕迹、潜在干预和匹配预算扩展。这些示例旨在证明，即使在表面上看起来LLM在进行CoT推理，实际上其推理过程可能更多地依赖于潜在状态的变化。论文还建议未来的研究应该设计实验来明确分离表面痕迹、潜在状态和串行计算，以便更准确地评估LLM的推理能力。

📊 实验亮点

论文通过对现有研究的重新分析和计算审计示例，论证了潜在状态轨迹在LLM推理中的主导地位。结果表明，即使在表面上看起来LLM在进行CoT推理，其推理过程可能更多地依赖于潜在状态的变化。这为未来的LLM推理研究提供了新的方向。

🎯 应用场景

该研究成果可应用于提升LLM的可解释性和可靠性，例如，通过理解潜在状态轨迹，可以更好地诊断LLM的推理错误，并进行针对性的改进。此外，该研究还有助于开发更有效的推理基准和干预方法，从而提高LLM在各种实际应用中的性能。

📄 摘要（原文）

This position paper argues that large language model (LLM) reasoning should be studied as latent-state trajectory formation rather than as faithful surface chain-of-thought (CoT). This matters because claims about faithfulness, interpretability, reasoning benchmarks, and inference-time intervention all depend on what the field takes the primary object of reasoning to be. We ask what that object should be once three often-confounded factors are separated and formalize three competing hypotheses: H1, reasoning is primarily mediated by latent-state trajectories; H2, reasoning is primarily mediated by explicit surface CoT; and H0, most apparent reasoning gains are better explained by generic serial compute than by any privileged representational object. Reorganizing recent empirical, mechanistic, and survey work under this framework, and adding compute-audited worked exemplars that factorize surface traces, latent interventions, and matched budget expansions, we find that current evidence most strongly supports H1 as a default working hypothesis rather than as a task-independent verdict. We therefore make two recommendations: the field should treat latent-state dynamics as the default object of study for LLM reasoning, and it should evaluate reasoning with designs that explicitly disentangle surface traces, latent states, and serial compute.