PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space

📄 arXiv: 2509.23184v2 📥 PDF

作者: Boyi Zeng, He Li, Shixiang Song, Yixuan Wang, Ziwei He, Xinbing Wang, Zhouhan Lin

分类: cs.CL

发布日期: 2025-09-27 (更新: 2025-10-24)

💡 一句话要点

PonderLM-2：通过在连续空间中预训练具有潜在思想的LLM，提升单token生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型预训练 潜在思想 连续空间推理 Chain-of-Thought 计算效率 Pythia模型

📋 核心要点

  1. 现有CoT通过增加推理步骤提升性能，但预训练阶段计算步骤的scaling潜力未被充分挖掘。
  2. PonderLM-2在预训练阶段引入潜在思想生成步骤，使模型在连续空间中优化token预测。
  3. 实验表明，PonderLM-2在相同推理成本下优于参数量翻倍的模型，且增加潜在思想数量可进一步提升性能。

📝 摘要（中文）

本文提出了一种新的预训练方法：具有潜在思想的语言模型预训练（PonderLM-2）。该方法预训练语言模型（LM），使其首先生成一个中间潜在思想——当前位置的最后一个隐藏状态——然后将其用作输入来预测实际的后续token。这种额外的计算步骤使LM能够在不受约束的连续空间内优化其预测。实验表明，在相同的推理成本下，每个token生成一个额外潜在思想的LM优于参数量是其两倍的标准模型。例如，我们的PonderLM-2-Pythia-1.4B在Pile数据集上预训练了300B个token，在语言建模和一系列通用下游任务上显著优于在相同数据上训练的vanilla Pythia-2.8B。此外，增加每个实际token之前生成的潜在思想的数量（形成类似于CoT的链）可以持续提高模型的性能。

🔬 方法详解

问题定义：现有语言模型预训练方法通常直接预测下一个token，缺乏在连续空间中进行中间推理和优化的能力。Chain-of-Thought (CoT) 在推理阶段通过增加计算步骤来提升性能，但如何在预训练阶段利用类似的机制是一个挑战。现有方法无法有效利用计算scaling来提升单个token的生成质量。

核心思路：PonderLM-2的核心思路是在预训练阶段，让模型在预测下一个token之前，先生成一个“潜在思想”（latent thought），即当前位置的最后一个隐藏状态。这个潜在思想可以被视为模型对当前上下文的理解和推理结果，然后将其作为输入来预测下一个token。通过这种方式，模型可以在连续空间中进行额外的计算和优化，从而提高token预测的准确性。

技术框架：PonderLM-2的整体框架如下：1. 输入token序列；2. 模型生成当前位置的隐藏状态，作为“潜在思想”；3. 将该潜在思想作为输入，预测下一个token。这个过程可以重复多次，形成一个类似于CoT的链式结构。模型训练的目标是最小化预测token与真实token之间的差异。

关键创新：PonderLM-2的关键创新在于将CoT的思想引入到预训练阶段，通过生成中间的“潜在思想”来模拟人类的思考过程，使模型能够在连续空间中进行推理和优化。与传统的预训练方法相比，PonderLM-2能够更有效地利用计算资源，提高token生成的质量。

关键设计：PonderLM-2的关键设计包括：1. 潜在思想的表示：使用当前位置的最后一个隐藏状态作为潜在思想的表示；2. 潜在思想的使用：将潜在思想作为输入，通过额外的网络层来预测下一个token；3. 损失函数：使用交叉熵损失函数来衡量预测token与真实token之间的差异；4. 潜在思想数量：可以调整每个token之前生成的潜在思想的数量，形成不同长度的“思考链”。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PonderLM-2-Pythia-1.4B在Pile数据集上预训练了300B个token，在语言建模和一系列通用下游任务上显著优于在相同数据上训练的vanilla Pythia-2.8B。这意味着在相同的推理成本下，PonderLM-2能够达到更好的性能，并且可以通过增加潜在思想的数量来进一步提升性能。

🎯 应用场景

PonderLM-2具有广泛的应用前景，可以应用于各种自然语言处理任务，例如文本生成、机器翻译、问答系统等。通过在预训练阶段引入潜在思想，可以提高模型的生成质量和推理能力，从而提升下游任务的性能。该方法还可以应用于其他模态的模型预训练，例如图像和语音。

📄 摘要（原文）

The remarkable success of Chain-of-Thought (CoT), which enhances performance by scaling generation steps at test-time, inspires us to ask: can we leverage a similar scaling of computational steps during pretraining to improve the generation of each individual token? To address this, we propose a novel pre-training methodology: Pretraining Language Models with Latent Thoughts (PonderLM-2). Our approach pretrains a language model (LM) to first generate an intermediate latent thought-the last hidden state of the current position-which is then used as input to predict the actual subsequent token. This additional computational step enables the LM to refine its prediction within unconstrained continuous space. Our experiments demonstrate that, at an identical inference cost, a LM that generates one additional latent thought per token outperforms a standard model with double the parameters. For instance, our PonderLM-2-Pythia-1.4B, pretrained on 300B tokens from the Pile, significantly surpasses the vanilla Pythia-2.8B trained on the same data on both language modeling and a range of general downstream tasks. Furthermore, increasing the number of latent thoughts generated before each actual token-forming a chain analogous to CoT-consistently improves the model's performance.