Alternatives To Next Token Prediction In Text Generation -- A Survey

📄 arXiv: 2509.24435v1 📥 PDF

作者: Charlie Wyatt, Aditya Joshi, Flora Salim

分类: cs.CL, cs.AI

发布日期: 2025-09-29

💡 一句话要点

综述：探索文本生成中下一词预测的替代方案，应对LLM的固有缺陷。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本生成 大型语言模型 下一词预测 多词预测 潜在推理 连续生成 非Transformer架构

📋 核心要点

  1. 大型语言模型依赖的下一词预测（NTP）存在长期规划不足、误差累积等问题。
  2. 该综述探索了五类NTP替代方案，包括多词预测、先规划后生成、潜在推理等。
  3. 通过对这些方法的分类和综合，旨在指导研究人员开发更强大的文本生成模型。

📝 摘要（中文）

下一词预测（NTP）范式推动了大型语言模型（LLM）的空前成功，但同时也导致了其最顽固的弱点，如长期规划能力差、误差累积和计算效率低下。本文对NTP的替代方案进行了综述，描述了新兴的替代NTP的生态系统。我们将这些方法分为五个主要类别：（1）多词预测，它针对的是未来的一组词，而不是单个词；（2）先规划后生成，预先创建一个全局的、高层次的计划来指导词级别的解码；（3）潜在推理，将自回归过程本身转移到连续潜在空间；（4）连续生成方法，通过扩散、流匹配或基于能量的方法，用迭代的、并行的细化代替顺序生成；（5）非Transformer架构，通过其固有的模型结构来规避NTP。通过综合这些方法的见解，本综述提供了一个分类法，以指导研究解决词级别生成的已知局限性的模型，从而为自然语言处理开发新的变革性模型。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中由于采用下一词预测（NTP）范式而导致的固有缺陷，例如长期规划能力差、误差累积和计算效率低下。现有方法主要依赖于逐个token的生成方式，缺乏全局规划和长期依赖建模能力，容易产生语义不连贯和逻辑错误等问题。

核心思路：论文的核心思路是跳出传统的NTP框架，探索多种替代方案，以克服NTP的局限性。这些替代方案涵盖了从预测目标、生成方式到模型架构等多个层面，旨在提升LLM的生成质量、效率和可控性。

技术框架：论文将NTP的替代方案分为五大类：（1）多词预测：一次预测多个token，减少误差累积；（2）先规划后生成：先生成全局计划，再根据计划生成文本；（3）潜在推理：在连续潜在空间进行推理，避免离散token的限制；（4）连续生成方法：采用扩散模型等方法进行并行生成和迭代优化；（5）非Transformer架构：使用非Transformer结构，避免NTP范式。

关键创新：论文的关键创新在于对NTP替代方案进行了系统性的梳理和分类，并对每种方案的优缺点进行了深入分析。通过对比不同方案的特点，为研究人员提供了选择和组合不同方法的指导，从而促进了文本生成领域的发展。

关键设计：论文没有涉及具体的模型设计细节，而是侧重于对现有方法的分类和总结。对于每种替代方案，论文都详细描述了其核心思想、技术特点和应用场景，并引用了相关的研究工作。论文还讨论了不同方案之间的联系和区别，以及未来可能的研究方向。

📊 实验亮点

该综述论文系统地整理了下一词预测（NTP）的多种替代方案，并将其归纳为五大类，为研究人员提供了一个清晰的路线图，方便他们选择合适的方法来解决LLM在文本生成中遇到的问题。该论文为未来文本生成模型的研究方向提供了有价值的参考。

🎯 应用场景

该研究成果可应用于各种需要高质量文本生成的场景，例如机器翻译、文本摘要、对话系统、内容创作等。通过采用NTP的替代方案，可以提升生成文本的连贯性、逻辑性和创造性，从而改善用户体验，并为相关应用带来新的发展机遇。

📄 摘要（原文）

The paradigm of Next Token Prediction (NTP) has driven the unprecedented success of Large Language Models (LLMs), but is also the source of their most persistent weaknesses such as poor long-term planning, error accumulation, and computational inefficiency. Acknowledging the growing interest in exploring alternatives to NTP, the survey describes the emerging ecosystem of alternatives to NTP. We categorise these approaches into five main families: (1) Multi-Token Prediction, which targets a block of future tokens instead of a single one; (2) Plan-then-Generate, where a global, high-level plan is created upfront to guide token-level decoding; (3) Latent Reasoning, which shifts the autoregressive process itself into a continuous latent space; (4) Continuous Generation Approaches, which replace sequential generation with iterative, parallel refinement through diffusion, flow matching, or energy-based methods; and (5) Non-Transformer Architectures, which sidestep NTP through their inherent model structure. By synthesizing insights across these methods, this survey offers a taxonomy to guide research into models that address the known limitations of token-level generation to develop new transformative models for natural language processing.