On Powerful Ways to Generate: Autoregression, Diffusion, and Beyond

📄 arXiv: 2510.06190v2 📥 PDF

作者: Chenxiao Yang, Cai Zhou, David Wipf, Zhiyuan Li

分类: cs.LG

发布日期: 2025-10-07 (更新: 2025-11-17)

💡 一句话要点

提出任意过程生成方法，扩展扩散模型能力，解决自回归模型难以处理的复杂推理问题。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 自回归模型 语言生成 任意过程生成 复杂推理 非自回归生成 Masked Diffusion Model 计算通用性

📋 核心要点

  1. 自回归模型在复杂推理任务中存在局限性，扩散模型虽有潜力，但其计算能力和局限性尚不明确。
  2. 提出任意过程生成方法，扩展Masked Diffusion Models (MDM)的能力，使其能够重新掩码、插入和删除token，实现自适应并行。
  3. 理论和实验表明，新方法能够解决自回归模型和原始MDM难以处理的复杂推理问题，并适用于非顺序过程演变的生成任务。

📝 摘要（中文）

扩散语言模型最近作为一种有竞争力的自回归语言模型的替代方案出现。除了next-token生成之外，它们通过支持并行和任意顺序的token生成，效率更高、更灵活。然而，尽管取得了经验上的成功，但它们的计算能力和根本局限性仍然知之甚少。本文正式研究了Masked Diffusion Models (MDM)中的非自回归生成是否能够解决超出Auto-Regressive Models (ARM)能力范围的问题。结果表明，具有足够大上下文长度的MDM在解码步骤中具有计算通用性，与PRAM中的最优并行时间复杂度相匹配。然而，当控制其他因素时，MDM以任意顺序生成的灵活性并不能扩展ARM已经可以解决的问题。为了解决这个问题，我们提出了一种新的生成形式，称为任意过程生成，它扩展了MDM的能力，可以重新掩码、插入和删除token，从而实现自我纠正、长度可变的编辑和自适应并行性。从理论上和经验上，我们证明了这些能力能够扩展到ARM和vanilla MDM难以处理的更难的推理问题。此外，它们对于对象自然地通过非顺序过程演变的生成任务至关重要，这对于将当前LLM从自然语言扩展到编码和科学等领域至关重要。

🔬 方法详解

问题定义：论文旨在研究扩散语言模型（特别是Masked Diffusion Models, MDM）在解决复杂推理问题上的能力，并与自回归模型（Auto-Regressive Models, ARM）进行比较。现有自回归模型在处理需要灵活编辑、自我纠正或非顺序生成过程的任务时存在局限性，而MDM虽然具有并行生成和任意顺序生成的潜力，但其真正的计算能力和局限性尚未被充分理解。

核心思路：论文的核心思路是扩展MDM的能力，使其不仅能进行掩码预测，还能进行token的重新掩码、插入和删除，从而实现更灵活的生成过程。这种“任意过程生成”的思想旨在克服传统自回归模型的顺序依赖性，并允许模型在生成过程中进行自我纠正和长度调整。

技术框架：论文提出的任意过程生成方法基于MDM框架，主要包括以下几个关键模块：1) 掩码预测模块：用于预测被掩码的token；2) 重新掩码模块：允许模型在生成过程中重新选择需要预测的token；3) 插入模块：用于在序列中插入新的token；4) 删除模块：用于删除序列中的token。这些模块共同作用，使得模型能够以非顺序的方式生成文本，并根据需要进行编辑和调整。

关键创新：最重要的技术创新点在于提出了“任意过程生成”的概念，并将其应用于MDM。与传统的自回归模型和原始MDM相比，这种方法不再局限于顺序生成或简单的掩码预测，而是允许模型在生成过程中进行更复杂的token操作，从而实现更灵活和强大的生成能力。

关键设计：论文中关于关键设计的细节描述较少，但可以推断，重新掩码、插入和删除模块的实现可能涉及到特定的网络结构和损失函数设计。例如，插入模块可能需要学习如何在序列中合适的位置插入token，而删除模块可能需要学习哪些token可以安全地删除。此外，如何平衡各个模块之间的作用，以及如何训练这些模块，也是关键的设计考虑因素。

🖼️ 关键图片

img_0

📊 实验亮点

论文通过理论分析证明，具有足够大上下文长度的MDM在解码步骤中具有计算通用性，与PRAM中的最优并行时间复杂度相匹配。实验结果表明，提出的任意过程生成方法能够显著提升模型在复杂推理任务上的性能，超越了自回归模型和原始MDM的能力。

🎯 应用场景

该研究成果可应用于代码生成、科学发现等领域，这些领域中的对象通常通过非顺序过程演变。任意过程生成方法能够提升LLM在这些领域的应用能力，例如，在代码生成中，允许模型进行自我纠错和代码重构；在科学发现中，支持模型进行假设生成和实验设计。

📄 摘要（原文）

Diffusion language models have recently emerged as a competitive alternative to autoregressive language models. Beyond next-token generation, they are more efficient and flexible by enabling parallel and any-order token generation. However, despite empirical successes, their computational power and fundamental limitations remain poorly understood. In this paper, we formally study whether non-autoregressive generation in Masked Diffusion Models (MDM) enables solving problems beyond the reach of Auto-Regressive Models (ARM). Our results show that MDM with sufficiently large context length is computationally universal with decoding steps matching the optimal parallel time complexity in PRAM. However, when controlling for other factors, MDM's flexibility to generate in any-order does not expand what ARM can already solve. To address this, we propose a new form of generation called any-process generation, which extends MDM with capabilities to remask, insert and delete tokens, allowing self-correction, length-variable editing, and adaptive parallelism. Theoretically and empirically, we demonstrate these capabilities enable scalability to significantly harder reasoning problems that are otherwise intractable for ARM and vanilla MDM. Additionally, they prove essential for generation tasks where objects naturally evolve through non-sequential processes, crucial for extending current LLMs beyond natural language to domains such as coding and science.