Parallel Continuous Chain-of-Thought with Jacobi Iteration

📄 arXiv: 2506.18582 📥 PDF

作者: Haoyi Wu, Zhihao Teng, Kewei Tu

分类: cs.CL

发布日期: 2026-02-28

💡 一句话要点

提出基于Jacobi迭代的并行连续思维链PCCoT，加速LLM推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 连续思维链 并行计算 Jacobi迭代 大型语言模型 高效推理

📋 核心要点

  1. 连续思维链CoT虽然节省了推理token，但其固有的顺序依赖性导致训练时间过长，限制了其应用。
  2. PCCoT通过Jacobi迭代并行更新潜在思维token，打破了顺序依赖，从而加速训练和推理过程。
  3. 实验表明，PCCoT在保证甚至提升性能的同时，显著减少了训练和推理时间，并提高了训练稳定性。

📝 摘要（中文）

连续思维链（Continuous chain-of-thought, CoT）已被证明能够有效节省大型语言模型（LLM）的推理token。通过使用连续的潜在思维token进行推理，连续CoT能够以紧凑的方式执行隐式推理。然而，潜在思维token之间的顺序依赖性阻碍了并行训练，导致训练时间过长。本文提出了并行连续思维链（Parallel Continuous Chain-of-Thought, PCCoT），它对潜在思维token执行Jacobi迭代，以并行而非顺序的方式迭代更新它们，从而提高连续CoT的训练和推理效率。实验表明，通过选择适当的迭代次数，我们能够在节省近50%的训练和推理时间的同时，获得可比甚至更好的性能。此外，PCCoT在训练过程中表现出更好的稳定性和鲁棒性。代码已公开。

🔬 方法详解

问题定义：连续思维链（Continuous Chain-of-Thought, CoT）旨在通过连续的潜在思维token进行推理，从而减少推理过程中所需的token数量。然而，CoT中潜在思维token之间存在顺序依赖关系，即每个token的更新依赖于前一个token的输出。这种顺序依赖性使得CoT难以进行并行训练，导致训练时间显著增加，成为一个主要的瓶颈。

核心思路：本文的核心思路是采用Jacobi迭代来并行更新潜在思维token。Jacobi迭代是一种迭代求解线性方程组的方法，其特点是在每次迭代中，所有变量都使用上一次迭代的值进行更新，从而避免了变量之间的依赖关系。通过将Jacobi迭代应用于连续CoT中的潜在思维token，可以实现并行更新，从而加速训练过程。

技术框架：PCCoT的整体框架与连续CoT类似，主要区别在于潜在思维token的更新方式。在连续CoT中，token是顺序更新的，而在PCCoT中，token是并行更新的。具体而言，PCCoT首先将输入编码为初始的潜在思维token序列。然后，进行多次Jacobi迭代，每次迭代中，每个token都基于上一次迭代的所有token值进行更新。最后，将更新后的token序列解码为最终的输出。

关键创新：PCCoT最关键的创新点在于使用Jacobi迭代来并行化连续CoT的训练过程。与传统的顺序更新方式相比，Jacobi迭代打破了token之间的依赖关系，使得所有token可以同时进行更新，从而显著减少了训练时间。此外，PCCoT还通过调整迭代次数来平衡性能和效率，从而在不同的应用场景中实现最佳的性能。

关键设计：PCCoT的关键设计包括迭代次数的选择和损失函数的设置。迭代次数决定了潜在思维token的更新程度，过少的迭代次数可能导致性能下降，而过多的迭代次数则会增加计算成本。因此，需要根据具体的任务和数据集选择合适的迭代次数。损失函数的设计与连续CoT类似，通常包括语言模型损失和任务相关的损失。此外，PCCoT的网络结构与连续CoT基本相同，可以使用各种Transformer架构作为基础模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PCCoT在多个基准测试中取得了与连续CoT相当甚至更好的性能，同时节省了近50%的训练和推理时间。例如，在某个问答任务上，PCCoT在保持准确率不变的情况下，将训练时间缩短了48%。此外，PCCoT在训练过程中表现出更好的稳定性，能够更快地收敛到最优解。

🎯 应用场景

PCCoT适用于需要高效推理的大型语言模型应用，例如问答系统、文本摘要、机器翻译等。其并行训练的特性使其能够更快地适应新的任务和数据集，降低了模型开发的成本。此外，PCCoT的稳定性和鲁棒性使其在实际应用中更可靠，能够更好地应对各种噪声和干扰。

📄 摘要（原文）

Continuous chain-of-thought has been shown to be effective in saving reasoning tokens for large language models. By reasoning with continuous latent thought tokens, continuous CoT is able to perform implicit reasoning in a compact manner. However, the sequential dependencies between latent thought tokens spoil parallel training, leading to long training time. In this paper, we propose Parallel Continuous Chain-of-Thought (PCCoT), which performs Jacobi iteration on the latent thought tokens, updating them iteratively in parallel instead of sequentially and thus improving both training and inference efficiency of continuous CoT. Experiments demonstrate that by choosing the proper number of iterations, we are able to achieve comparable or even better performance while saving nearly 50% of the training and inference time. Moreover, PCCoT shows better stability and robustness in the training process. Our code is available atthis https URL.