BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models

📄 arXiv: 2610.28500v1 📥 PDF

作者: Ning Zhang, Shihao Wang, Jinrui Zhang, Chaodong Xiao, Lei Zhang

分类: cs.CL, cs.AI, cs.DC, cs.LG

发布日期: 2026-10-20

备注: Accepted at NeurIPS 2026. 16 pages, 3 figures. Code: https://github.com/PolyU-VCLab/BitMTP

🔗 代码/项目: GITHUB

💡 一句话要点

提出BitMTP以解决低比特大语言模型的多标记预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低比特模型 多标记预测 大语言模型 生成效率 自然语言处理 算法设计 CUDA优化

📋 核心要点

  1. 现有方法在结合多标记预测与超低比特模型时，无法在保持质量的前提下加速解码。
  2. 论文提出BitMTP框架，通过联合目标和多种解码策略，提升超低比特LLM的生成效率。
  3. 实验显示，BitMTP在多任务上实现了2.2倍的速度提升，且在不同硬件上均表现出色。

📝 摘要（中文）

为了高效部署大语言模型（LLMs），超低比特骨干网络的方法减少了权重存储、内存流量和线性层执行成本，而多标记预测（MTP）方法通过并行预测多个未来标记来减少顺序解码步骤。尽管这两种方法互为补充，但直接结合并不能在可比质量下加速解码。为了解决这些挑战，本文提出了BitMTP，一个算法-系统协同设计框架，旨在实现超低比特LLM骨干上的高效MTP。通过联合的下一个标记预测和MTP目标，使单个模型具备自回归生成和块因果草拟的能力。实验结果表明，BitMTP在不同骨干、模型规模和GPU类型上加速了超低比特LLM生成。

🔬 方法详解

问题定义：本文旨在解决超低比特大语言模型在多标记预测（MTP）中的解码效率问题。现有方法在结合MTP与低比特模型时，面临质量与速度的权衡，导致解码过程无法有效加速。

核心思路：BitMTP通过算法与系统的协同设计，结合下一个标记预测与多标记预测的目标，使得单一模型能够同时进行自回归生成和块因果草拟，从而提升解码效率。

技术框架：BitMTP的整体架构包括联合目标训练、不同的解码策略（如仅置信解码、仅推测解码和混合解码），以及接受前缀对齐机制，以保持生成过程中的一致性。

关键创新：BitMTP的主要创新在于其联合训练目标和解码策略的设计，使得模型能够在不需要单独的草拟和验证模型的情况下，灵活调整生成质量与速度的平衡。

关键设计：在技术细节上，BitMTP采用了宽度专业化的低比特执行，利用共享的KV存储和CUDA图重放状态，确保生成过程中的效率与一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BitMTP在NVIDIA H20上实现了在BitNet b1.58-2B模型上2.2倍的五任务平均速度提升，在1.7B-4B Bonsai模型上实现了2.1-2.4倍的提升。此外，在RTX 3090和Jetson Orin上，BitMTP分别达到了2.0倍和3.3倍的五任务平均吞吐量提升，展现了其在不同硬件上的优越性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提升超低比特大语言模型的生成效率，BitMTP能够在资源受限的环境中实现更快速的响应，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

For efficient deployment of large language models (LLMs), methods of ultra-low-bit backbones reduce weight storage, memory traffic, and linear-layer execution cost, while multi-token prediction (MTP) methods reduce sequential decoding steps by predicting multiple future tokens in parallel. Although complementary, the direct combination of these methods cannot accelerate decoding at comparable quality: masked drafting lacks intermediate token input supplied in next-token training, while wider computation and causal key-value (KV) updates can offset the savings from fewer steps. To address these challenges, we propose BitMTP, an algorithm-system co-design framework for efficient MTP on ultra-low-bit LLM backbones. A joint next-token prediction and MTP objective equips a single model with both autoregressive (AR) generation and block-causal drafting. Confidence-only decoding, speculative-only decoding, and hybrid decoding provide different quality-throughput operating points without using separate draft and verifier models. Accepted-prefix alignment keeps the committed prefix, materialized causal KV boundary, and CUDA Graph replay state consistent for continued generation. BitMTP uses this contract to select width-specialized low-bit execution and reuse captured graphs over shared KV storage. On NVIDIA H20, BitMTP with hybrid decoding achieves five-task mean speedups of 2.2x on BitNet b1.58-2B and 2.1-2.4x on 1.7B-4B Bonsai models at comparable task quality. On RTX 3090 and Jetson Orin, it further achieves up to 2.0x in five-task mean throughput and 3.3x on MBPP+, respectively. These results demonstrate that BitMTP accelerates ultra-low-bit LLM generation across backbones, model sizes, and GPU types. The source code is released at https://github.com/PolyU-VCLab/BitMTP