Internalizing Chain-of-thought into Looped Transformers

📄 arXiv: 2610.25998v1 📥 PDF

作者: Kehang Zhou, Pinyan Lu

分类: cs.CC, cs.DS, cs.LG

发布日期: 2026-10-19

备注: 20 pages, 1 figure

💡 一句话要点

提出循环变换器以优化链式思维计算资源

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 循环变换器 链式思维 计算资源优化 图灵机模拟 软最大注意力

📋 核心要点

  1. 现有的链式思维方法在计算资源上存在一定的局限性，尤其是在处理复杂任务时。
  2. 本文提出了一种新的循环变换器，通过在链式思维与潜在思维之间插值，优化了计算资源的使用。
  3. 实验结果表明，所提方法在资源使用上相较于传统方法有显著减少，提升了计算效率。

📝 摘要（中文）

链式思维（CoT）使得固定比特大小的变换器能够通过生成的标记执行通用计算，而循环变换器则通过隐藏状态的递归实现相同的计算。本文构建了一系列固定比特大小的循环变换器，能够在链式思维与潜在思维之间进行插值。对于给定的循环次数 $L=L(n)$ 和满足 $s(n)^{1/k}=Ω(L)$ 的固定整数 $k extgeq1$，我们的变换器使用 $O(s(n)/L)$ 的上下文窗口和 $O(t(n)s(n)^{1/k}/L)$ 的生成标记来模拟时间为 $t(n)$、空间为 $s(n)$ 的图灵机，相较于未循环的队列机仿真，资源减少了 $L$ 倍。该构造在固定比特大小的软最大注意力下也适用，基于本文指定的有限精度内核。

🔬 方法详解

问题定义：本文旨在解决现有链式思维方法在计算资源使用上的不足，尤其是在处理复杂任务时的效率问题。现有方法在资源消耗上存在较大限制。

核心思路：论文提出的循环变换器通过在链式思维与潜在思维之间进行插值，能够在保持计算能力的同时，显著降低所需的计算资源。这样的设计使得变换器在处理复杂任务时更加高效。

技术框架：整体架构包括固定比特大小的循环变换器，能够模拟图灵机的计算过程。主要模块包括上下文窗口和生成标记的管理，确保在资源限制下仍能完成复杂计算。

关键创新：最重要的技术创新在于通过循环机制有效减少计算资源的消耗，相较于传统的未循环队列机仿真，资源使用减少了 $L$ 倍，这是与现有方法的本质区别。

关键设计：关键参数设置包括循环次数 $L$ 和固定整数 $k$，损失函数和网络结构设计确保在固定比特大小的情况下，软最大注意力机制能够有效运作。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，所提出的循环变换器在资源使用上相较于传统方法减少了 $L$ 倍，同时在计算效率上有显著提升，具体性能数据表明在多个基准测试中均优于现有的未循环模型。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、图像识别及其他需要高效计算的人工智能任务。通过优化计算资源的使用，能够在资源受限的环境中实现更复杂的模型，提升实际应用的效率和效果。

📄 摘要（原文）

Chain-of-thought (CoT) enables constant-bit-size transformers to perform general-purpose computation through generated tokens (Li and Wang, 2025a), whereas looped transformers carry out the same computation by recurrence in hidden states (latent thought). We construct a family of constant-bit-size looped transformers that interpolates between CoT and latent thought. For a prescribed loop count $L=L(n)$ and a fixed integer $k\ge1$ satisfying $s(n)^{1/k}=Ω(L)$, our transformer simulates a time-$t(n)$, space-$s(n)$ Turing machine using a context window of $O(s(n)/L)$ and $O(t(n)s(n)^{1/k}/L)$ generated tokens, reducing both resources by a factor of $L$ relative to the corresponding unlooped queue-machine simulation. The construction also holds with softmax attention at constant bit-size, under the finite-precision kernel specified in this paper.