AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference

📄 arXiv: 2609.15131v1 📥 PDF

作者: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang

分类: cs.CV, cs.AI

发布日期: 2026-09-14

💡 一句话要点

提出AdaVSkip以解决多模态大语言模型推理效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉标记 计算效率 动态路由 强化学习 自注意力 MLP模块

📋 核心要点

  1. 现有多模态大语言模型在推理时计算量巨大，尤其是在处理视觉标记时，效率低下。
  2. 提出AdaVSkip，通过轻量级路由器动态决定视觉标记的处理路径，优化自注意力和MLP模块的计算。
  3. 在LLaVA-NeXT-7B模型上，AdaVSkip将FLOPs减少53.2%，并与视觉标记压缩结合后，减少幅度达到91.2%。

📝 摘要（中文）

多模态大语言模型（MLLMs）在处理大量视觉标记时需要消耗大量计算资源。现有方法主要通过压缩视觉标记来利用水平冗余，或通过提前退出和固定层跳过来利用垂直冗余。然而，这些冗余的程度和分布因输入而异，并且在自注意力和MLP模块之间存在差异。为此，本文提出了AdaVSkip，为每一层配备两个轻量级路由器，独立决定视觉标记是否通过自注意力和MLP模块。这些决策共同定义了特定输入的视觉计算路径。为了解决学习有效路径的挑战，本文开发了一个渐进式的两阶段训练框架，第一阶段通过监督学习建立初始路由策略，第二阶段利用强化学习优化路由决策。实验结果表明，AdaVSkip在保持强大任务性能的同时显著减少计算量。

🔬 方法详解

问题定义：多模态大语言模型在推理过程中需要处理大量视觉标记，导致计算资源消耗巨大，现有方法未能有效利用输入的冗余性，效率低下。

核心思路：提出AdaVSkip，通过在每一层引入两个轻量级路由器，动态决定视觉标记是否通过自注意力和MLP模块，从而形成输入特定的计算路径。

技术框架：整体架构分为两个阶段：第一阶段通过监督学习建立初始路由策略，第二阶段利用强化学习优化路由决策，结合任务性能反馈进行调整。

关键创新：AdaVSkip的创新在于引入了动态路由机制，能够根据输入特征自适应调整计算路径，与传统的固定层跳过方法相比，具有更高的灵活性和效率。

关键设计：路由器的设计为轻量级，采用非微分的决策机制，损失函数结合了答案正确性奖励和跳过一致性奖励，以避免过度保留视觉标记计算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AdaVSkip在LLaVA-NeXT-7B模型上将FLOPs减少53.2%，同时保持原模型的平均性能。与视觉标记压缩结合后，FLOPs减少幅度提升至91.2%，且保留97.2%的原始性能，展现出显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和机器人等多模态任务，能够显著提高模型推理效率，降低计算成本，适用于资源受限的环境。未来可能推动更高效的多模态模型设计，促进智能系统的普及与应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) require substantial computation to process numerous visual tokens across all transformer layers. Most methods for efficient MLLM inference exploit horizontal redundancy by compressing visual tokens. Beyond token reduction, recent studies exploit vertical redundancy through early exit or fixed-layer skipping. However, we find that the extent and distribution of this redundancy vary across inputs and differ between self-attention and MLP modules. Motivated by these observations, we propose AdaVSkip, which equips each layer with two lightweight routers that independently determine whether visual tokens pass through by or skip the self-attention and MLP modules. These decisions collectively define an input-specific visual-computation path, but their discrete and non-differentiable nature makes learning effective paths challenging. To address this challenge, we develop a progressive two-stage training framework that updates only the routers while keeping the backbone frozen. Stage I establishes an initial routing policy through supervised training with input-specific targets derived from module-wise necessity scores. To further align the routing policy with task performance, Stage II uses reinforcement learning to optimize routing decisions with direct feedback from generated answers. It combines an answer correctness reward with a skip-consistency reward that discourages excessive retention of visual-token computation. Across three MLLM backbones, AdaVSkip maintains strong task performance with substantially less computation. On LLaVA-NeXT-7B, AdaVSkip reduces FLOPs by 53.2\% while preserving the original model's average performance. Combining it with visual token compression increases this reduction to 91.2\%, while retaining 97.2\% of the original performance on average.