Efficient Multi-modal Large Language Models via Visual Token Grouping
作者: Minbin Huang, Runhui Huang, Han Shi, Yimeng Chen, Chuanyang Zheng, Xiangguo Sun, Xin Jiang, Zhenguo Li, Hong Cheng
分类: cs.CV
发布日期: 2024-11-26 (更新: 2024-12-02)
💡 一句话要点
提出VisToG，通过视觉Token分组提升多模态大语言模型效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉Token分组 预训练视觉编码器 推理加速 计算效率 隔离注意力 图像语义分割
📋 核心要点
- 现有MLLM方法处理高分辨率图像计算成本高昂，限制了其广泛应用。
- VisToG利用预训练视觉编码器对相似图像片段进行分组，无需分割掩码，从而压缩视觉tokens。
- 实验表明，VisToG在保持98.1%性能的同时，推理时间减少超过27%。
📝 摘要（中文）
多模态大语言模型(MLLMs)增强了大语言模型(LLMs)处理文本以外数据格式的能力，显著推进了视觉问答、图像描述等下游应用。然而，处理高分辨率图像和视频带来的巨大计算成本阻碍了其更广泛的应用。为了解决这一挑战，压缩MLLMs中的视觉tokens成为降低推理成本的一种有前景的方法。本文提出VisToG，一种新颖的分组机制，利用预训练视觉编码器的能力来分组相似的图像片段，而无需分割掩码。具体来说，我们在线性投影层之后连接语义tokens来表示图像语义片段，然后再输入到视觉编码器中。此外，通过采用隔离注意力机制，VisToG可以利用预训练视觉编码器中的先验知识来识别和消除冗余的视觉tokens，从而有效地降低计算需求。大量实验表明VisToG的有效性，在保持原始性能的98.1%的同时，实现了超过27%的推理时间减少。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLMs）处理高分辨率图像时计算成本过高的问题。现有的token压缩方法通常在特征对齐阶段进行，效率较低，且可能引入额外的计算负担。因此，如何高效地压缩视觉tokens，降低推理成本，同时保持模型性能是本文要解决的核心问题。
核心思路：论文的核心思路是利用预训练视觉编码器本身的能力，在视觉编码阶段对相似的图像区域进行分组，形成语义token，从而减少需要处理的token数量。这种方法避免了显式的分割掩码，并充分利用了预训练模型的先验知识。
技术框架：VisToG的整体框架包括以下几个主要阶段：1) 图像输入经过线性投影层，将图像块转换为视觉tokens；2) 将语义相关的视觉tokens进行连接，形成图像语义片段的表示；3) 将这些语义片段输入到预训练的视觉编码器中；4) 在视觉编码器中，采用隔离注意力机制，识别并消除冗余的视觉tokens；5) 最终，将处理后的视觉tokens输入到大语言模型中进行后续处理。
关键创新：VisToG的关键创新在于：1) 提出了一种基于预训练视觉编码器的视觉token分组机制，无需额外的分割掩码；2) 引入了隔离注意力机制，能够有效识别和消除冗余的视觉tokens，进一步降低计算成本。这种方法充分利用了预训练模型的知识，实现了高效的视觉token压缩。
关键设计：VisToG的关键设计包括：1) 语义token的连接方式，如何确定哪些视觉tokens应该被分组在一起；2) 隔离注意力机制的具体实现，如何设计注意力权重，以区分重要和冗余的视觉tokens；3) 如何平衡token压缩的程度和模型性能的损失，避免过度压缩导致性能下降。具体的参数设置和损失函数等技术细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VisToG在保持原始模型98.1%性能的情况下，能够将推理时间减少超过27%。这一结果表明VisToG是一种高效的视觉token压缩方法，能够在显著降低计算成本的同时，保持良好的模型性能。具体的实验设置、数据集和对比基线在论文中应该有更详细的描述（未知）。
🎯 应用场景
VisToG技术可广泛应用于各种需要处理高分辨率图像或视频的多模态大语言模型应用中，例如视觉问答、图像描述、视频理解、自动驾驶等。通过降低计算成本，该技术可以使MLLMs更容易部署在资源受限的设备上，并加速其在实际场景中的应用。
📄 摘要（原文）
The development of Multi-modal Large Language Models (MLLMs) enhances Large Language Models (LLMs) with the ability to perceive data formats beyond text, significantly advancing a range of downstream applications, such as visual question answering and image captioning. However, the substantial computational costs associated with processing high-resolution images and videos pose a barrier to their broader adoption. To address this challenge, compressing vision tokens in MLLMs has emerged as a promising approach to reduce inference costs. While existing methods conduct token reduction in the feature alignment phase. In this paper, we introduce VisToG, a novel grouping mechanism that leverages the capabilities of pre-trained vision encoders to group similar image segments without the need for segmentation masks. Specifically, we concatenate semantic tokens to represent image semantic segments after the linear projection layer before feeding into the vision encoder. Besides, with the isolated attention we adopt, VisToG can identify and eliminate redundant visual tokens utilizing the prior knowledge in the pre-trained vision encoder, which effectively reduces computational demands. Extensive experiments demonstrate the effectiveness of VisToG, maintaining 98.1% of the original performance while achieving a reduction of over 27\% inference time.