SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models

📄 arXiv: 2610.18735v1 📥 PDF

作者: Yuqi Huang, Xingyao Li, Yunlong Hou, Fengzhuo Zhang, Jiachun Pan, Vincent Y. F. Tan

分类: cs.LG

发布日期: 2026-10-13

💡 一句话要点

提出SP$^2$ec以解决视觉语言模型推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我推测解码 视觉语言模型 推理效率 多模态学习 算法优化

📋 核心要点

  1. 现有的自我推测解码方法在视觉语言模型中面临输入模态多样性带来的效率挑战，导致吞吐量不稳定。
  2. 本文提出的SP$^2$ec算法通过自适应调整草拟配置，利用单峰吞吐模式，显著提高了推理效率。
  3. 在多个视觉和文本任务上，SP$^2$ec在性能上较传统自我推测方法提升了11%，验证了其有效性。

📝 摘要（中文）

自我推测解码（Self-Speculative Decoding, SSD）在加速大型语言模型推理方面表现出色，但在视觉语言模型（VLMs）中，由于输入模态的多样性，使得小型训练草拟器难以实现持续高吞吐量。本文提出单峰自我推测解码（SP$^2$ec），一种无训练的带状算法，能够在生成过程中自适应调整草拟配置。SP$^2$ec利用现有自我推测方法中观察到的单峰吞吐模式，显著减少了每个查询的墙时后悔（wall-time regret），并在Qwen2.5-VL-7B-Instruct和LLaVA-NeXT-Mistral-7B的视觉和文本任务上，较原有自我推测方法提升了多达11%的性能，展示了其广泛的适用性。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型推理过程中，由于输入模态多样性导致的效率低下问题。现有的自我推测解码方法在不同输入情况下难以保持高吞吐量，影响了模型的实际应用。

核心思路：SP$^2$ec通过引入一种无训练的带状算法，动态调整草拟配置，以适应不同的输入提示，从而提高推理效率。该方法利用了自我推测方法中观察到的单峰吞吐模式，优化了推理过程。

技术框架：SP$^2$ec的整体架构包括输入提示的接收、草拟配置的选择、推理过程的执行以及结果的输出。每个阶段都针对不同的输入特征进行优化，以实现最佳性能。

关键创新：SP$^2$ec的主要创新在于引入了墙时后悔的概念，针对每个查询最小化其后悔值，从而有效地选择最优草拟配置。这一设计使得算法在探索成本上几乎可以忽略不计。

关键设计：在算法实现中，SP$^2$ec采用了简单的余弦相似度（cosSim）作为草拟器的一部分，并通过理论保证确保了墙时后悔的最小化，提升了模型的推理效率。具体的参数设置和损失函数设计也经过精心调整，以适应多模态输入的特性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在Qwen2.5-VL-7B-Instruct和LLaVA-NeXT-Mistral-7B的实验中，SP$^2$ec相较于原有自我推测方法实现了高达11%的性能提升，显示出其在视觉和文本任务中的广泛适用性。这一结果表明，SP$^2$ec在推理效率上具有显著优势，能够有效应对多模态输入的挑战。

🎯 应用场景

该研究的潜在应用领域包括智能助理、自动化内容生成和多模态交互系统等。通过提高视觉语言模型的推理效率，SP$^2$ec可以在实时应用中提供更流畅的用户体验，推动相关技术的商业化进程。未来，随着算法的进一步优化，可能会在更广泛的多模态任务中发挥重要作用。

📄 摘要（原文）

Speculative Decoding (SD) has demonstrated its efficacy in accelerating large language model inference, but for Vision-Language Models (VLMs), the diverse input modalities make it difficult for a small trained drafter to achieve consistently high throughput. Self-speculative decoding reuses parts of the target model as a drafter which retains the multi-modal capability of the VLMs, yet its efficiency depends on choosing a suitable draft configuration for each prompt. We propose Single-Peak SPeculative decoding (SP$^2$ec), a training-free bandit algorithm that adapts the draft configuration during generation. SP$^2$ec exploits the single-peak throughput pattern observed in existing self-speculative methods, including SWIFT, KnapSpec, SpecVLM, and our simple cosSim. Our algorithmic design explicitly minimizes a novel notion of wall-time regret for each given query, corresponding to the empirical wall-time latency. Theoretical guarantees on the wall-time regret show that SP$^2$ec can exploit the optimal draft configuration, with negligible exploration cost. Extensive experiments on Qwen2.5-VL-7B-Instruct and LLaVA-NeXT-Mistral-7B across visual and textual tasks show consistent improvements of up to 11\% over the original self-speculative methods, demonstrating the wide applicability of the proposed SP$^2$ec algorithm.