Speculative Decoding Reimagined for Multimodal Large Language Models

📄 arXiv: 2505.14260v1 📥 PDF

作者: Luxi Lin, Zhihang Lin, Zhanpeng Zeng, Rongrong Ji

分类: cs.CV, cs.AI

发布日期: 2025-05-20

备注: 12 pages

🔗 代码/项目: GITHUB

💡 一句话要点

针对多模态大语言模型，提出多模态推测解码（MSD）加速推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 推测解码 推理加速 视觉感知 语言建模

📋 核心要点

  1. 现有MLLM的推测解码方法未能达到与LLM相同的加速效果，成为推理效率瓶颈。
  2. MSD的核心思想是解耦文本和视觉token的处理，并采用两阶段训练策略提升草稿模型的语言建模和视觉感知能力。
  3. 实验结果表明，MSD在LLaVA-1.5模型上实现了显著的推理加速，最高可达2.46倍。

📝 摘要（中文）

本文提出了多模态推测解码（MSD）来加速多模态大语言模型（MLLM）的推理。推测解码已被证明可以加速大语言模型（LLM），且不牺牲准确性。然而，目前MLLM的推测解码方法未能达到与LLM相同的加速效果。为了解决这个问题，我们专门为MLLM重新设计了推测解码。我们对MLLM特性的分析揭示了MSD的两个关键设计原则：（1）文本和视觉token具有根本不同的特性，需要在草稿生成阶段分别处理。（2）语言建模能力和视觉感知能力对于草稿模型都至关重要。对于第一个原则，MSD在草稿模型中解耦了文本和视觉token，允许根据各自的特性进行处理。对于第二个原则，MSD使用两阶段训练策略：在第一阶段，草稿模型在纯文本指令调优数据集上进行训练，以提高其语言建模能力。在第二阶段，MSD逐步引入多模态数据，以增强草稿模型的视觉感知能力。实验表明，MSD在多模态基准测试中，对于LLaVA-1.5-7B的推理速度提升高达2.29倍，对于LLaVA-1.5-13B的推理速度提升高达2.46倍，证明了其有效性。我们的代码可在https://github.com/Lyn-Lucy/MSD获取。

🔬 方法详解

问题定义：现有针对LLM的推测解码方法在直接应用于MLLM时，无法达到预期的加速效果。这是因为MLLM需要同时处理文本和图像两种模态的信息，而现有方法没有充分考虑这两种模态的差异性，导致草稿模型的质量不高，从而影响了整体的加速效果。现有方法的痛点在于忽略了文本和视觉token的异构性，以及草稿模型在语言建模和视觉感知能力上的平衡。

核心思路：MSD的核心思路是针对MLLM的特点，重新设计推测解码过程。具体来说，MSD将文本和视觉token的处理解耦，并采用两阶段训练策略来提升草稿模型的性能。解耦处理允许针对不同模态的token采用不同的处理方式，从而提高草稿的质量。两阶段训练策略则分别提升草稿模型的语言建模和视觉感知能力，使其能够更好地辅助主模型的推理。

技术框架：MSD的整体框架包括一个主模型和一个草稿模型。主模型负责生成最终的输出，而草稿模型则用于预测主模型的输出，从而加速推理过程。MSD的关键在于草稿模型的训练和推理过程。在训练阶段，MSD采用两阶段训练策略，首先在纯文本数据上训练草稿模型的语言建模能力，然后在多模态数据上微调草稿模型的视觉感知能力。在推理阶段，MSD首先使用草稿模型预测主模型的输出，然后由主模型验证草稿模型的预测结果，如果预测正确，则直接采用草稿模型的输出，否则使用主模型的输出。

关键创新：MSD最重要的技术创新点在于针对MLLM的特点，重新设计了推测解码过程。与现有方法相比，MSD更加关注文本和视觉token的异构性，以及草稿模型在语言建模和视觉感知能力上的平衡。通过解耦处理和两阶段训练策略，MSD能够显著提高草稿模型的质量，从而实现更高的推理加速效果。

关键设计：MSD的关键设计包括：(1) 文本和视觉token的解耦处理方式，具体实现细节未知。(2) 两阶段训练策略中，两个阶段所使用的数据集和训练目标，具体细节未知。(3) 草稿模型的网络结构和参数设置，具体细节未知。(4) 如何平衡草稿模型的语言建模和视觉感知能力，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MSD在LLaVA-1.5-7B和LLaVA-1.5-13B模型上均取得了显著的推理加速效果。具体来说，MSD在LLaVA-1.5-7B上实现了高达2.29倍的加速，在LLaVA-1.5-13B上实现了高达2.46倍的加速。这些结果表明，MSD能够有效地提高MLLM的推理效率，且具有良好的可扩展性。

🎯 应用场景

MSD可应用于各种需要快速推理的多模态大语言模型应用场景，例如：实时图像字幕生成、视频内容理解、智能问答系统、视觉辅助对话机器人等。该研究成果有助于提升多模态AI系统的用户体验，降低部署成本，并推动多模态AI技术在实际场景中的广泛应用。

📄 摘要（原文）

This paper introduces Multimodal Speculative Decoding (MSD) to accelerate Multimodal Large Language Models (MLLMs) inference. Speculative decoding has been shown to accelerate Large Language Models (LLMs) without sacrificing accuracy. However, current speculative decoding methods for MLLMs fail to achieve the same speedup as they do for LLMs. To address this, we reimagine speculative decoding specifically for MLLMs. Our analysis of MLLM characteristics reveals two key design principles for MSD: (1) Text and visual tokens have fundamentally different characteristics and need to be processed separately during drafting. (2) Both language modeling ability and visual perception capability are crucial for the draft model. For the first principle, MSD decouples text and visual tokens in the draft model, allowing each to be handled based on its own characteristics. For the second principle, MSD uses a two-stage training strategy: In stage one, the draft model is trained on text-only instruction-tuning datasets to improve its language modeling ability. In stage two, MSD gradually introduces multimodal data to enhance the visual perception capability of the draft model. Experiments show that MSD boosts inference speed by up to $2.29\times$ for LLaVA-1.5-7B and up to $2.46\times$ for LLaVA-1.5-13B on multimodal benchmarks, demonstrating its effectiveness. Our code is available at https://github.com/Lyn-Lucy/MSD.