MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning

📄 arXiv: 2607.24424v1 📥 PDF

作者: Shaofei Lei

分类: cs.CV

发布日期: 2026-07-27

备注: 10 pages

💡 一句话要点

提出多尺度自适应视觉编码器以提升细粒度视觉感知与多模态推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多尺度特征融合 自适应标记路由 压缩表示蒸馏 细粒度视觉感知 多模态推理 推理效率提升

📋 核心要点

  1. 现有视觉语言模型在处理高分辨率输入时，容易丢失重要的文本和空间信息，同时推理延迟较高。
  2. 本文提出的MAViE通过融合多层特征和自适应标记路由，旨在保留重要的视觉信息并提高推理效率。
  3. 实验结果显示，MAViE在多个视觉问答基准上平均提高了2.2个百分点，同时显著减少了推理时间。

📝 摘要（中文）

视觉语言模型通常将预训练视觉编码器生成的所有标记投影到大型语言模型中。然而，最终层特征可能会丢失文本、局部属性和空间关系，同时高分辨率输入会显著增加上下文长度和推理延迟。本文提出了多尺度自适应视觉编码器（MAViE），通过位置依赖的门控机制融合视觉Transformer的浅层、中间层和深层特征，保留全局语义并增强边缘、文本和局部结构。该方法根据问题相关性、局部信息内容、全局语义和空间覆盖进行条件化标记路由，并根据图像复杂性自适应标记预算。实验结果表明，MAViE在多个基准测试中显著提高了性能，并减少了推理时间。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在处理高分辨率输入时丢失重要信息和推理延迟高的问题。现有方法往往依赖最终层特征，导致文本、局部属性和空间关系的丢失。

核心思路：MAViE通过位置依赖的门控机制融合视觉Transformer的多层特征，保留全局语义并增强局部细节，进而提升视觉感知的细粒度和多模态推理的效率。

技术框架：MAViE的整体架构包括特征融合模块、条件化标记路由模块和压缩表示蒸馏模块。特征融合模块从不同层提取特征，条件化标记路由模块根据问题相关性和图像复杂性自适应选择标记，蒸馏模块则用于减少压缩损失。

关键创新：MAViE的主要创新在于引入了位置依赖的门控机制和条件化标记路由，这使得模型能够动态调整标记预算并有效保留重要信息，显著区别于传统方法。

关键设计：在设计中，MAViE采用了全到压缩表示的蒸馏策略和空间多样性正则化，以进一步减小信息损失。模型的参数设置和损失函数经过精心设计，以确保在不同复杂度图像上的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，MAViE将SigLIP-SO400M视觉标记的平均数量从729减少到146，减少幅度约为80.0%。同时，在VQAv2、GQA、TextVQA、ScienceQA-IMG和MMBench等基准测试中，平均得分提高了2.2个百分点，且单图像首次标记的时间从228毫秒减少到129毫秒，显示出显著的性能提升。

🎯 应用场景

MAViE在视觉问答、图像理解和多模态推理等领域具有广泛的应用潜力。通过提高细粒度视觉感知能力，该模型可以帮助实现更智能的图像检索、自动标注和人机交互等任务，推动相关技术的进步与应用。未来，MAViE的设计理念也可能被应用于其他多模态学习任务中。

📄 摘要（原文）

Vision-language models commonly project all tokens produced by a pretrained vision encoder into a large language model. However, final-layer features can discard text, local attributes, and spatial relationships, while high-resolution inputs substantially increase context length and inference latency. We introduce \method, a Multi-scale Adaptive Vision Encoder. \method uses position-dependent gates to fuse shallow, intermediate, and deep features from a vision Transformer, preserving global semantics while enhancing edges, text, and local structure. It then performs question-conditioned token routing according to question relevance, local information content, global semantics, and spatial coverage, with a token budget that adapts to image complexity. To mitigate compression loss, we further introduce full-to-compressed representation distillation and a spatial diversity regularizer. In an illustrative simulation under a unified 7B language-model framework, \method reduces the average number of SigLIP-SO400M visual tokens from 729 to 146 (approximately 80.0\%) and improves the mean score on VQAv2, GQA, TextVQA, ScienceQA-IMG, and MMBench by 2.2 percentage points, while reducing single-image time to first token from 228\,ms to 129\,ms. We provide the full model design and evaluation protocol. All reported numbers currently serve only as placeholders for paper organization and experimental design; formal claims require real training runs, independent replications, and official benchmark evaluation.