Parallel Language Models via Variational Decoding

📄 arXiv: 2610.26693v1 📥 PDF

作者: Felix Draxler, Robin C. Geyer, Daniel Geyfman, Farrin Marouf Sofian, Justus Will, Philipp Hildebrandt, Giosue Migliorini, Prakhar Srivastava, Gagan Sai Trinadh Duggaraju Peddiraju, Kushagra Pandey, Jorge da Silva Gonçalves, Elijah Tavares, Jan Niklas Groeneveld, Yang Meng, Julia E. Vogt, Stephan Mandt

分类: cs.LG, cs.CL

发布日期: 2026-10-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出并行语言模型以解决自回归模型推理延迟问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 并行语言模型 自回归模型 推理延迟 变分推断 自然语言处理 模型训练 深度学习

📋 核心要点

  1. 现有自回归语言模型在推理时每次只能生成一个标记，导致推理延迟高，尤其在模型规模增大时更为明显。
  2. 本文提出的并行语言模型（PLMs）通过潜在辅助变量在一次前向传播中生成多个标记，从而降低推理延迟。
  3. 实验结果表明，PLMs在速度和质量上均优于自回归和离散扩散基线，推理速度提升可达2.3到5.7倍。

📝 摘要（中文）

自回归语言模型在每次前向传播中生成一个标记，这导致了高推理延迟，尤其是在模型规模增大时。本文提出了并行语言模型（PLMs），通过潜在辅助变量路由依赖关系，在一次前向传播中生成相互一致的标记。PLMs使用变分界限进行训练，该界限简化为自回归损失加上并行解码损失。实验证明，PLMs在速度和质量上优于自回归和离散扩散基线。预训练的PLMs在80M到3B参数规模上达到了接近自回归的预训练损失，推理速度提升遵循幂律。当进行后续训练时，我们的1.3B模型在数学、编码和指令跟随基准上匹配或超过同样训练的自回归模型，推理速度提升2.3到5.7倍。我们展示了并行生成可以通过单一训练目标以自回归质量进行训练。

🔬 方法详解

问题定义：本文旨在解决自回归语言模型在推理过程中高延迟的问题，尤其是在模型规模增大时，推理效率显著降低。

核心思路：提出并行语言模型（PLMs），通过潜在辅助变量的设计，使得模型能够在一次前向传播中生成多个相互一致的标记，从而提高推理速度。

技术框架：PLMs的整体架构包括一个变分推断框架，训练过程中结合自回归损失和并行解码损失，确保生成的标记在质量和一致性上达到自回归模型的水平。

关键创新：PLMs的核心创新在于通过潜在变量路由依赖关系，使得模型能够并行生成标记，而不是依赖于传统的逐步生成方式，这一设计显著提升了推理效率。

关键设计：在训练过程中，PLMs使用变分界限作为损失函数，结合自回归损失和并行解码损失，确保模型在不同参数规模下均能保持高效的推理性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，预训练的PLMs在80M到3B参数规模上达到了接近自回归模型的预训练损失，并且推理速度提升遵循幂律，后续训练的1.3B模型在多个基准测试中超越同样训练的自回归模型，推理速度提升达2.3到5.7倍。

🎯 应用场景

该研究的并行语言模型具有广泛的应用潜力，特别是在需要实时响应的自然语言处理任务中，如对话系统、自动翻译和代码生成等。通过提高推理速度，PLMs能够在实际应用中提供更流畅的用户体验，未来可能推动更大规模的语言模型在工业界的应用。

📄 摘要（原文）

Autoregressive language models emit one token per forward pass. This causes high inference latency, in particular as models are scaled up for quality. In this paper, we introduce Parallel Language Models (PLMs), which generate mutually consistent tokens in one forward pass by routing dependencies through latent auxiliary variables. PLMs are trained using a variational bound that reduces to an autoregressive loss plus a parallel decoding loss. Empirically, PLMs are on a faster and better Pareto frontier than autoregressive and discrete diffusion baselines. Pretrained PLMs achieve near-autoregressive pretraining loss on model scales of 80M to 3B parameters, and speedup follows a power law in model size. When post-trained, our 1.3B model matches or exceeds an identically trained autoregressive model on math, coding, and instruction-following benchmarks, speeding up inference $2.3\text{-}5.7\times$. Together, we show that parallel generation can be trained from a single training objective at autoregressive quality. We will make our code available at https://github.com/mandt-lab/plm.