Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization

📄 arXiv: 2601.21358v1 📥 PDF

作者: Jiecong Wang, Hao Peng, Chunyang Liu

分类: cs.AI, cs.CL

发布日期: 2026-01-29

💡 一句话要点

提出PLaT：解耦推理与表达的潜在思维链规划框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链 潜在推理 规划 解耦 大型语言模型

📋 核心要点

  1. 现有思维链方法在离散token空间推理时面临计算成本高和推理路径崩溃的挑战。
  2. PLaT框架将潜在推理重构为规划，解耦推理过程与最终的文本表达，提升灵活性。
  3. 实验表明，PLaT在推理多样性上具有更强的可扩展性，能探索更广泛的解空间。

📝 摘要（中文）

思维链（CoT）赋予大型语言模型（LLM）解决复杂问题的能力，但当基于离散token空间时，计算成本和推理路径崩溃仍然是限制。最近的潜在推理方法试图通过在连续隐藏状态中执行推理来优化效率。然而，这些方法通常作为从显式推理步骤到潜在状态的不透明端到端映射运行，并且通常需要在推理期间预定义数量的潜在步骤。在这项工作中，我们介绍了PLaT（Planning with Latent Thoughts），一个通过从根本上将推理与表达解耦来将潜在推理重新定义为规划的框架。我们将推理建模为潜在规划状态的确定性轨迹，而单独的解码器在必要时将这些想法转化为文本。这种解耦允许模型动态地确定何时终止推理，而不是依赖于固定的超参数。在数学基准上的经验结果揭示了一种明显的权衡：虽然PLaT实现了比基线更低的贪婪准确率，但它在推理多样性方面表现出卓越的可扩展性。这表明PLaT学习了一个鲁棒的、更广泛的解决方案空间，为推理时搜索提供了透明且可扩展的基础。

🔬 方法详解

问题定义：现有思维链方法（CoT）在解决复杂问题时，由于需要在离散的token空间进行推理，导致计算成本高昂，并且容易出现推理路径崩溃的问题。此外，一些潜在推理方法虽然试图在连续隐藏状态中进行推理以提高效率，但它们通常是端到端的映射，缺乏透明性，并且需要在推理前预先设定推理步骤的数量，限制了其灵活性。

核心思路：PLaT的核心思路是将推理过程视为一个在潜在空间中的规划过程，并将推理与最终的文本表达解耦。通过这种解耦，模型可以动态地决定何时终止推理，而无需依赖固定的超参数。这种方法旨在提高推理的效率、灵活性和可解释性。

技术框架：PLaT框架包含两个主要模块：推理模块和解码模块。推理模块负责在潜在空间中进行规划，生成一系列的潜在状态，这些状态代表了推理过程中的中间步骤。解码模块则负责将这些潜在状态转换为最终的文本输出。推理模块可以被视为一个确定性的轨迹生成器，而解码模块则负责将这些轨迹“翻译”成自然语言。整个框架允许模型在必要时才将潜在的“想法”转化为文本。

关键创新：PLaT最重要的创新在于它将推理过程建模为一个规划过程，并将其与文本表达解耦。这种解耦使得模型可以更加灵活地控制推理过程，并且可以动态地决定何时终止推理。此外，PLaT还通过在潜在空间中进行推理，提高了推理的效率。

关键设计：PLaT的关键设计包括：1) 使用确定性的轨迹生成器作为推理模块，以确保推理过程的可控性；2) 使用单独的解码模块将潜在状态转换为文本，以实现推理与表达的解耦；3) 设计了一种机制，允许模型动态地决定何时终止推理，而无需依赖固定的超参数。具体的参数设置、损失函数和网络结构等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PLaT在数学基准测试中，虽然贪婪准确率低于基线模型，但在推理多样性方面表现出更强的可扩展性。这表明PLaT能够学习到一个更鲁棒、更广泛的解空间，为推理时搜索提供了更好的基础。具体性能数据和提升幅度在论文中未明确给出。

🎯 应用场景

PLaT框架具有广泛的应用前景，例如可以应用于数学问题求解、代码生成、知识图谱推理等领域。通过将推理与表达解耦，PLaT可以提高模型在这些任务上的效率、灵活性和可解释性。此外，PLaT还可以作为一种通用的推理框架，应用于其他需要复杂推理的任务中，例如对话系统、问答系统等。

📄 摘要（原文）

Chain-of-Thought (CoT) empowers Large Language Models (LLMs) to tackle complex problems, but remains constrained by the computational cost and reasoning path collapse when grounded in discrete token spaces. Recent latent reasoning approaches attempt to optimize efficiency by performing reasoning within continuous hidden states. However, these methods typically operate as opaque end-to-end mappings from explicit reasoning steps to latent states, and often require a pre-defined number of latent steps during inference. In this work, we introduce PLaT (Planning with Latent Thoughts), a framework that reformulates latent reasoning as planning by fundamentally decouple reasoning from verbalization. We model reasoning as a deterministic trajectory of latent planning states, while a separate Decoder grounds these thoughts into text when necessary. This decoupling allows the model to dynamically determine when to terminate reasoning rather than relying on fixed hyperparameters. Empirical results on mathematical benchmarks reveal a distinct trade-off: while PLaT achieves lower greedy accuracy than baselines, it demonstrates superior scalability in terms of reasoning diversity. This indicates that PLaT learns a robust, broader solution space, offering a transparent and scalable foundation for inference-time search.