When Less is Enough: Adaptive Token Reduction for Efficient Image Representation
作者: Eduard Allakhverdov, Elizaveta Goncharova, Andrey Kuznetsov
分类: cs.CV
发布日期: 2025-03-20
备注: 10 pages, 8 figures
💡 一句话要点
提出基于自编码器和Gumbel-Softmax的自适应Token缩减方法，提升图像表征效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Token缩减 自编码器 Gumbel-Softmax 图像表征 视觉编码器
📋 核心要点
- 现有视觉编码器生成大量tokens，计算成本高昂，但并非所有tokens都同等重要。
- 提出基于自编码器和Gumbel-Softmax的选择机制，自动识别并保留最具信息量的视觉tokens。
- 实验表明，该方法在OCR任务中可移除50%的tokens且性能损失小，通用任务中保留30%的tokens即可达到完整性能。
📝 摘要（中文）
视觉编码器通常生成大量视觉tokens，提供信息丰富的表征，但也显著增加了计算需求。本文提出了一种新的特征效用确定方法，其核心思想是：价值较低的特征可以从价值较高的特征中重建。通过将自编码器与Gumbel-Softmax选择机制相结合，该方法能够识别并保留最具信息量的视觉tokens。实验结果表明，在基于OCR的任务中，移除超过50%的视觉上下文对性能影响甚微，而随机丢弃相同比例的特征则会显著降低模型性能。此外，在通用领域任务中，即使仅随机保留30%的tokens，也能达到与使用完整视觉tokens相当的性能。该研究为自适应和高效的多模态剪枝提供了一个有前景的方向，有助于实现可扩展和低开销的推理，同时不影响性能。
🔬 方法详解
问题定义：现有视觉编码器生成的tokens数量庞大，导致计算成本高昂，尤其是在资源受限的场景下。然而，并非所有tokens都包含同等重要的信息，存在冗余。因此，如何有效地减少tokens数量，同时保持甚至提升图像表征的质量，是一个亟待解决的问题。现有方法要么是静态地减少tokens数量，要么是基于启发式的规则，缺乏自适应性和灵活性。
核心思路：论文的核心思路是基于特征重建的思想来评估tokens的价值。如果一个token可以从其他token中被很好地重建出来，那么它就被认为是冗余的，可以被丢弃。反之，如果一个token难以被重建，那么它就被认为是重要的，应该被保留。这种思路的优势在于能够自适应地根据图像内容和任务需求来选择tokens，从而实现更高效的图像表征。
技术框架：该方法将一个自编码器与一个Gumbel-Softmax选择机制集成在一起。首先，视觉编码器生成初始的tokens集合。然后，Gumbel-Softmax选择机制根据每个token的重要性概率，选择一部分tokens作为编码器的输入。编码器将选择的tokens进行压缩和编码，生成一个低维的表征。解码器则尝试从这个低维表征中重建原始的tokens集合。通过最小化重建误差，可以学习到每个token的重要性概率，从而实现自适应的token选择。
关键创新：该方法最重要的创新点在于提出了基于特征重建的token重要性评估方法。与传统的基于注意力机制或启发式规则的方法不同，该方法能够更准确地衡量每个token的实际价值，从而实现更有效的token选择。此外，Gumbel-Softmax选择机制的使用使得token选择过程可微，从而可以与整个模型进行端到端的训练。
关键设计：Gumbel-Softmax选择机制的关键参数是温度参数，它控制了选择的随机性。温度越高，选择越随机；温度越低，选择越确定。合适的温度参数可以平衡探索和利用，从而获得更好的性能。损失函数主要由两部分组成：重建损失和正则化损失。重建损失用于衡量重建的准确性，正则化损失用于约束token选择的稀疏性，鼓励模型选择更少的tokens。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在OCR任务中，使用该方法选择的tokens可以移除超过50%的视觉上下文，而性能损失甚微。在通用领域任务中，即使仅随机保留30%的tokens，也能达到与使用完整视觉tokens相当的性能。与随机选择tokens相比，该方法能够显著提高模型的性能和效率，证明了其有效性和优越性。
🎯 应用场景
该研究成果可广泛应用于计算资源受限的视觉任务中，例如移动设备上的图像识别、视频分析和目标检测。通过减少tokens数量，可以显著降低计算成本和内存占用，从而实现更高效和可扩展的视觉应用。此外，该方法还可以应用于多模态学习中，例如视觉问答和图像描述，通过选择最具信息量的视觉tokens，提高模型的性能和效率。
📄 摘要（原文）
Vision encoders typically generate a large number of visual tokens, providing information-rich representations but significantly increasing computational demands. This raises the question of whether all generated tokens are equally valuable or if some of them can be discarded to reduce computational costs without compromising quality. In this paper, we introduce a new method for determining feature utility based on the idea that less valuable features can be reconstructed from more valuable ones. We implement this concept by integrating an autoencoder with a Gumbel-Softmax selection mechanism, that allows identifying and retaining only the most informative visual tokens. To validate our approach, we compared the performance of the LLaVA-NeXT model, using features selected by our method with randomly selected features. We found that on OCR-based tasks, more than 50% of the visual context can be removed with minimal performance loss, whereas randomly discarding the same proportion of features significantly affects the model capabilities. Furthermore, in general-domain tasks, even randomly retaining only 30% of tokens achieves performance comparable to using the full set of visual tokens. Our results highlight a promising direction towards adaptive and efficient multimodal pruning that facilitates scalable and low-overhead inference without compromising performance.