From Chain-of-Thought to Loops: Non-Autoregressive Latent Reasoning via Looped Transformers

📄 arXiv: 2610.11472v1 📥 PDF

作者: Gerard Grau García, Arnau Padrés Masdemont, Niccolò Grillo, Jordi Ros-Giralt, Arash Behboodi, Victor Conchello Vendrell

分类: cs.AI

发布日期: 2026-10-08

备注: 9 pages, 1 figure

💡 一句话要点

提出LLoCoT框架以提升语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在推理 循环变换器 自回归模型 自然语言处理 推理效率

📋 核心要点

  1. 现有的自回归潜在推理方法在生成过程中保留了从左到右的依赖关系，限制了推理效率。
  2. LLoCoT框架通过迭代优化潜在工作空间，替代了传统的自回归生成方式，实现了并行化的潜在槽优化。
  3. 实验结果表明，LLoCoT在多个基准测试中表现优异，显著提高了推理速度和模型吞吐量。

📝 摘要（中文）

链式思维（CoT）推理通过在回答之前提供额外计算，通常能提高语言模型的性能。然而，显式的CoT将这种计算表示为自回归生成的令牌序列。潜在推理用紧凑的连续状态替代这些令牌，但大多数自回归潜在推理方法仍保留潜在向量之间的从左到右依赖关系。本文提出了LLoCoT：一种循环潜在推理框架，通过迭代优化紧凑的潜在工作空间，替代了从左到右的潜在生成。共享的变换器在少量优化迭代中重新应用，基于提示和不断演变的工作空间状态共同更新潜在槽。使用优化后的状态，概率头预测一个分布，从中并行采样潜在令牌，并用于条件自回归解码器生成答案。在HumanEval和MBPP上，LLoCoT在评估方法中取得了最高的均值，准确性与我们的显式CoT基线Reasoning SFT相当，同时超越了基础模型、仅答案SFT和NF-CoT。相较于Reasoning SFT，LLoCoT将首次答案令牌的时间缩短约36倍，推理阶段延迟缩短约42倍，同时提高了端到端吞吐量9.2%。

🔬 方法详解

问题定义：本文旨在解决现有自回归潜在推理方法在生成过程中存在的从左到右依赖性问题，这限制了推理的效率和灵活性。

核心思路：LLoCoT框架通过循环迭代优化潜在工作空间，允许模型在生成答案时进行并行化的潜在槽更新，从而提高推理速度和准确性。

技术框架：LLoCoT的整体架构包括一个共享的变换器模块，该模块在少量迭代中对潜在槽进行更新，结合提示信息和当前工作空间状态，最终通过概率头生成潜在令牌。

关键创新：LLoCoT的主要创新在于其循环潜在推理机制，替代了传统的自回归生成方式，允许并行处理潜在状态，显著提高了推理效率。

关键设计：在训练过程中，使用来自显式CoT的连续表示，结合最终答案预测损失和潜在状态的基于似然的监督，确保模型在优化潜在槽时能够有效学习。该设计还包括对变换器的参数设置和损失函数的精细调整，以实现最佳性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

LLoCoT在HumanEval和MBPP基准测试中表现突出，准确性与Reasoning SFT相当，同时首次答案令牌生成时间缩短约36倍，推理阶段延迟减少约42倍，端到端吞吐量提高9.2%。

🎯 应用场景

LLoCoT框架在自然语言处理、对话系统和智能问答等领域具有广泛的应用潜力。通过提高推理效率，该方法能够支持更复杂的任务，提升用户体验，并为实时应用提供更快的响应能力。

📄 摘要（原文）

Chain-of-thought (CoT) reasoning often improves language-model performance by giving models additional computation before answering. However, explicit CoT expresses this computation as a sequence of autoregressively generated tokens. Latent reasoning replaces these tokens with compact continuous states, but most autoregressive latent-reasoning methods retain a left-to-right dependency among latent vectors. We introduce LLoCoT: a looped latent-reasoning framework that replaces left-to-right latent generation with iterative refinement of a compact latent workspace. A shared transformer is reapplied for a small number of refinement iterations, jointly updating the latent slots based on the prompt and the evolving workspace state. Using the refined state, a probabilistic head predicts a distribution from which latent tokens are sampled in parallel and used to condition an autoregressive decoder for answer generation. Training uses continuous representations derived from explicit CoT together with a final-answer prediction loss and likelihood-based supervision of the latent states. Across HumanEval and MBPP, LLoCoT achieves the highest mean among the evaluated methods, performing on par in accuracy with Reasoning SFT, our explicit-CoT baseline, while outperforming the base model, answer-only SFT and NF-CoT. Relative to Reasoning SFT, LLoCoT reduces time to the first answer token by approximately $36\times$ and reasoning-phase latency by approximately $42\times$, while increasing end-to-end throughput by $9.2\%$. This design replaces serial thought generation with parallel latent-slot refinement while retaining probabilistic latent modeling and autoregressive answer decoding.