Beneath the Tokens: A Performance Engineering Study of Multi-Token Prediction in GPU-Accelerated LLM Inference

📄 arXiv: 2609.35188v1 📥 PDF

作者: Suwesh Prasad Sah

分类: cs.AI, cs.PF

发布日期: 2026-09-28

💡 一句话要点

提出多令牌预测以提升GPU加速LLM推理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多令牌预测 GPU加速 自回归解码 性能优化

📋 核心要点

  1. 现有自回归解码方法在生成过程中对GPU内存和执行顺序高度敏感，导致性能瓶颈。
  2. 论文提出的多令牌预测（MTP）方法通过一次生成多个令牌，减少了GPU的重复执行，提高了推理效率。
  3. 实验结果显示，MTP在所有测试中提高了输出吞吐量，并显著缩短了首次输出时间，验证了其有效性。

📝 摘要（中文）

自回归大型语言模型推理通过逐个生成令牌，对GPU内存移动和顺序执行敏感。本研究在NVIDIA A10G GPU上评估了两令牌多令牌预测（MTP）与自回归解码的性能。通过360个请求的基准测试，涵盖了纯文本、推理密集型和工具调用工作负载，使用运行时遥测、Nsight Systems、PyTorch Profiler和Nsight Compute进行性能分析。结果表明，MTP在所有提示中提高了输出吞吐量1.91到2.19倍，并将首次输出时间减少了10.0%至14.2%。

🔬 方法详解

问题定义：本研究旨在解决自回归大型语言模型推理中由于逐个生成令牌而导致的性能瓶颈，尤其是GPU内存移动和顺序执行的影响。现有方法在处理复杂任务时效率低下，限制了生成速度。

核心思路：论文提出的多令牌预测（MTP）方法通过一次生成多个令牌，减少了GPU的重复执行，从而提高了推理效率。这种设计旨在通过更高效的令牌生成来降低执行开销。

技术框架：整体架构包括多个阶段：提议、采样、注意力机制、聚合和归约操作。每个阶段都经过优化，以适应多令牌生成的需求。

关键创新：MTP的主要创新在于其通过减少重复执行的次数来实现性能提升，尽管其执行路径更复杂，但通过更高的令牌进展来抵消额外的执行成本。

关键设计：在实验中，MTP需要56.4%至78.1%的CUDA图执行次数减少，且其GEMM内核的性能与自回归的GEMV内核相当，接近A10G的内存带宽限制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，多令牌预测（MTP）在所有提示中提高了输出吞吐量1.91到2.19倍，并将首次输出时间减少了10.0%至14.2%。尽管MTP的执行路径更复杂，但其显著减少的CUDA图执行次数使得整体性能得以提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提高推理效率，MTP方法能够加速实时应用的响应时间，提升用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autoregressive large language model inference repeatedly invokes the target model to generate one token at a time, making generation sensitive to GPU memory movement and sequential execution. This study evaluates two-token multi-token prediction (MTP) against autoregressive decoding in a controlled single-request deployment on an NVIDIA A10G GPU. A 360-request benchmark covered plain-text, reasoning-intensive, and tool-calling workloads, while runtime telemetry, Nsight Systems, PyTorch Profiler, and selected Nsight Compute measurements were used to explain the observed performance. MTP increased output throughput by (1.91\times) to (2.19\times) across all prompts and reduced time to first output by 10.0--14.2\%. Median mean acceptance length ranged from 2.370 to 2.595 tokens per verification iteration. Profiling showed that MTP introduced a longer and more complex execution path, including proposal, sampling, attention, gathering, and reduction operations. However, it required 56.4--78.1\% fewer executions of the selected repeating CUDA Graph per generated token. The dominant MTP GEMM kernel was not faster than the dominant autoregressive GEMV kernel, and selected instances of both approached the A10G memory-bandwidth limit. These results show that MTP improved inference through amortization: greater token progress reduced repeated GPU execution sufficiently to outweigh the additional speculative-execution cost.