From Local Details to Global Context: Advancing Vision-Language Models with Attention-Based Selection

📄 arXiv: 2505.13233v1 📥 PDF

作者: Lincan Cai, Jingxuan Kang, Shuang Li, Wenxuan Ma, Binhui Xie, Zhida Qin, Jian Liang

分类: cs.CV

发布日期: 2025-05-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于注意力选择的ABS方法，提升视觉-语言模型在零样本任务上的泛化能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 零样本学习 注意力机制 数据增强 特征选择

📋 核心要点

  1. 现有视觉-语言模型依赖随机裁剪等数据增强，虽能提升性能，但易引入噪声，模型易过度关注局部细节，忽略全局语义。
  2. 提出基于注意力选择（ABS）的方法，通过注意力引导的裁剪和特征选择，在局部细节和全局上下文之间取得平衡。
  3. ABS方法无需训练，在分布外泛化和零样本分类任务上达到SOTA，性能甚至可与少样本学习方法媲美。

📝 摘要（中文）

预训练的视觉-语言模型（VLMs），例如CLIP，在下游任务中展示了令人印象深刻的零样本能力。先前的研究强调了视觉增强技术（如随机裁剪）在与大型语言模型（LLMs）生成的细粒度类别描述对齐方面的关键作用，通过结合多视角信息显著提高了零样本性能。然而，这些增强的内在随机性不可避免地会引入背景伪影，并导致模型过度关注局部细节，从而损害全局语义理解。为了解决这些问题，我们提出了一种从局部细节到全局上下文的基于注意力选择（ABS）方法，该方法在原始图像和特征空间中应用注意力引导的裁剪，并通过战略性特征选择来补充全局语义信息。此外，我们引入了一种软匹配技术，以有效地过滤LLM描述，从而实现更好的对齐。ABS在分布外泛化和零样本分类任务上实现了最先进的性能。值得注意的是，ABS是免训练的，甚至可以与少样本和测试时自适应方法相媲美。

🔬 方法详解

问题定义：现有视觉-语言模型在零样本学习中，依赖于随机裁剪等数据增强手段来提升性能。然而，这种随机性会引入背景噪声，导致模型过度关注局部细节，而忽略了图像的全局语义信息，从而影响模型的泛化能力。因此，如何有效地利用局部信息，同时保持对全局上下文的理解，是本文要解决的关键问题。

核心思路：本文的核心思路是通过注意力机制引导的特征选择，在局部细节和全局上下文之间取得平衡。具体来说，首先利用注意力机制定位图像中的重要区域，然后进行裁剪，既保留了关键的局部信息，又避免了引入过多的背景噪声。同时，通过特征选择，补充全局语义信息，从而提升模型的整体性能。

技术框架：ABS方法主要包含两个关键模块：注意力引导的裁剪模块和软匹配模块。注意力引导的裁剪模块首先利用预训练的视觉模型提取图像特征，然后使用注意力机制生成注意力图，并根据注意力图裁剪图像和特征。软匹配模块则用于过滤LLM生成的描述，选择与图像内容更相关的描述，从而提高对齐效果。整体流程是：输入图像，经过注意力引导的裁剪，得到局部和全局特征，然后与经过软匹配过滤的LLM描述进行匹配，最终完成分类任务。

关键创新：ABS方法的关键创新在于其注意力引导的裁剪策略和软匹配技术。注意力引导的裁剪能够有效地定位图像中的重要区域，并避免引入过多的背景噪声。软匹配技术则能够过滤LLM生成的描述，选择与图像内容更相关的描述，从而提高对齐效果。与现有方法相比，ABS方法更加注重局部细节和全局上下文的平衡，从而提升了模型的泛化能力。

关键设计：在注意力引导的裁剪模块中，使用了预训练的视觉模型（如ViT）提取图像特征，并使用Transformer结构生成注意力图。裁剪策略是根据注意力图的阈值进行裁剪，保留注意力值较高的区域。在软匹配模块中，使用了余弦相似度来衡量图像特征和LLM描述之间的相似度，并根据相似度对LLM描述进行加权。损失函数使用了标准的交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ABS方法在多个零样本分类数据集上取得了SOTA性能，尤其是在分布外泛化能力方面表现突出。例如，在ImageNet数据集上，ABS方法相比于基线方法取得了显著的性能提升，甚至可以与一些少样本学习方法相媲美。实验结果表明，ABS方法能够有效地提升视觉-语言模型的泛化能力，使其在面对未见过的场景时也能保持较高的准确率。

🎯 应用场景

该研究成果可广泛应用于图像分类、目标检测、图像检索等视觉任务中，尤其是在零样本学习和少样本学习场景下具有重要价值。通过提升视觉-语言模型的泛化能力，可以减少对大量标注数据的依赖，降低模型部署成本，并促进人工智能技术在更多领域的应用，例如智能安防、自动驾驶、医疗诊断等。

📄 摘要（原文）

Pretrained vision-language models (VLMs), e.g., CLIP, demonstrate impressive zero-shot capabilities on downstream tasks. Prior research highlights the crucial role of visual augmentation techniques, like random cropping, in alignment with fine-grained class descriptions generated by large language models (LLMs), significantly enhancing zero-shot performance by incorporating multi-view information. However, the inherent randomness of these augmentations can inevitably introduce background artifacts and cause models to overly focus on local details, compromising global semantic understanding. To address these issues, we propose an \textbf{A}ttention-\textbf{B}ased \textbf{S}election (\textbf{ABS}) method from local details to global context, which applies attention-guided cropping in both raw images and feature space, supplement global semantic information through strategic feature selection. Additionally, we introduce a soft matching technique to effectively filter LLM descriptions for better alignment. \textbf{ABS} achieves state-of-the-art performance on out-of-distribution generalization and zero-shot classification tasks. Notably, \textbf{ABS} is training-free and even rivals few-shot and test-time adaptation methods. Our code is available at \href{https://github.com/BIT-DA/ABS}{\textcolor{darkgreen}{https://github.com/BIT-DA/ABS}}.