Unified Lexical Representation for Interpretable Visual-Language Alignment
作者: Yifan Li, Yikai Wang, Yanwei Fu, Dongyu Ru, Zheng Zhang, Tong He
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2024-07-25 (更新: 2024-11-11)
备注: Accepted by NeurIPS 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出LexVLA，通过统一词汇表征实现可解释的视觉-语言对齐。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言对齐 可解释性 词汇表征 跨模态检索 预训练模型 DINOv2 Llama 2
📋 核心要点
- 现有VLA方法依赖潜在特征对齐，缺乏可解释性，且相似度计算不够清晰，难以进行精确的词汇匹配。
- LexVLA通过学习统一的词汇表征，为视觉和语言模态提供可解释的对齐，并利用预训练模型减少训练复杂度。
- 实验表明，LexVLA在跨模态检索任务中，使用较小数据集训练，性能超越了使用更大数据集训练的基线模型。
📝 摘要（中文）
视觉-语言对齐(VLA)在CLIP的突破性工作后受到了广泛关注。虽然CLIP表现良好，但典型的直接潜在特征对齐在其表征和相似性得分方面缺乏清晰性。另一方面，词汇表征是一种自然的稀疏且可解释的表征，其向量元素表示样本与词汇表中单词之间的相似性，为单个单词提供精确匹配。然而，由于缺乏ground-truth监督和错误发现问题，词汇表征难以学习，因此需要复杂的设计才能有效地训练。在本文中，我们引入了LexVLA，这是一个更具可解释性的VLA框架，通过学习用于两种模态的统一词汇表征，而无需复杂的设计。我们使用DINOv2作为视觉模型，因为它具有局部倾向的特征，并使用Llama 2，一个生成式语言模型，以利用其上下文词汇预测能力。为了避免错误发现，我们提出了一种过度使用惩罚，以防止词汇表征错误地频繁激活无意义的单词。我们证明，通过在适度的多模态数据集上进行微调，这两个预训练的单模态模型可以很好地对齐，并避免复杂的训练配置。在跨模态检索基准测试中，在CC-12M多模态数据集上训练的LexVLA优于在更大的数据集（例如，YFCC15M）上微调的基线，以及在更大的数据集（例如，11亿数据，包括CC-12M）上从头开始训练的基线。我们进行了广泛的实验来分析LexVLA。代码可在https://github.com/Clementine24/LexVLA获取。
🔬 方法详解
问题定义：现有的视觉-语言对齐方法，如CLIP，主要依赖于视觉和文本特征的直接对齐。这种方法虽然有效，但缺乏可解释性，难以理解模型做出决策的原因。此外，相似度得分的含义不够明确，无法直接对应到具体的词汇概念。因此，需要一种更清晰、可解释的视觉-语言对齐方法，能够将视觉信息与具体的词汇概念联系起来。
核心思路：LexVLA的核心思路是学习一个统一的词汇表征空间，使得视觉和语言信息都能够映射到这个空间中。这个空间中的每个维度对应一个词汇，维度值表示该词汇与输入样本的相关程度。通过这种方式，视觉和语言的对齐就变成了词汇层面的对齐，从而提高了可解释性。同时，利用预训练的视觉和语言模型，可以减少训练的复杂性。
技术框架：LexVLA的整体框架包括以下几个主要模块：1) 视觉编码器：使用DINOv2提取视觉特征。2) 语言编码器：使用Llama 2生成文本特征。3) 词汇表征学习模块：将视觉和文本特征映射到统一的词汇表征空间。4) 对齐模块：计算视觉和文本词汇表征之间的相似度，并进行对齐。在训练过程中，使用对比学习损失函数来优化模型，并引入过度使用惩罚来避免模型过度依赖某些词汇。
关键创新：LexVLA最重要的创新点在于提出了统一的词汇表征空间，将视觉和语言信息都映射到这个空间中。这种方法不仅提高了可解释性，还使得模型能够进行更精确的词汇匹配。此外，利用预训练的DINOv2和Llama 2，可以减少训练的复杂性，并提高模型的性能。
关键设计：1) 使用DINOv2作为视觉编码器，因为它具有局部倾向的特征，能够更好地捕捉图像中的细节信息。2) 使用Llama 2作为语言编码器，因为它具有强大的上下文词汇预测能力，能够生成更准确的文本特征。3) 引入过度使用惩罚，防止模型过度依赖某些词汇，从而提高模型的泛化能力。4) 使用对比学习损失函数来优化模型，使得视觉和文本的词汇表征更加接近。
🖼️ 关键图片
📊 实验亮点
LexVLA在CC-12M数据集上训练，在跨模态检索任务中表现出色，超越了在更大规模数据集（如YFCC15M）上微调的基线模型，甚至优于在包含CC-12M的11亿数据集上从头训练的模型。这表明LexVLA在数据效率和模型性能方面具有显著优势，验证了其统一词汇表征方法的有效性。
🎯 应用场景
LexVLA具有广泛的应用前景，例如图像检索、视频理解、视觉问答等。通过提供可解释的视觉-语言对齐，LexVLA可以帮助用户更好地理解模型做出的决策，并提高模型的可靠性。此外，LexVLA还可以用于生成更自然、更准确的图像描述，以及进行更智能的视觉对话。未来，LexVLA有望在智能客服、教育、医疗等领域发挥重要作用。
📄 摘要（原文）
Visual-Language Alignment (VLA) has gained a lot of attention since CLIP's groundbreaking work. Although CLIP performs well, the typical direct latent feature alignment lacks clarity in its representation and similarity scores. On the other hand, lexical representation, a vector whose element represents the similarity between the sample and a word from the vocabulary, is a natural sparse representation and interpretable, providing exact matches for individual words. However, lexical representations are difficult to learn due to no ground-truth supervision and false-discovery issues, and thus requires complex design to train effectively. In this paper, we introduce LexVLA, a more interpretable VLA framework by learning a unified lexical representation for both modalities without complex design. We use DINOv2 as our visual model for its local-inclined features and Llama 2, a generative language model, to leverage its in-context lexical prediction ability. To avoid the false discovery, we propose an overuse penalty to refrain the lexical representation from falsely frequently activating meaningless words. We demonstrate that these two pre-trained uni-modal models can be well-aligned by fine-tuning on the modest multi-modal dataset and avoid intricate training configurations. On cross-modal retrieval benchmarks, LexVLA, trained on the CC-12M multi-modal dataset, outperforms baselines fine-tuned on larger datasets (e.g., YFCC15M) and those trained from scratch on even bigger datasets (e.g., 1.1B data, including CC-12M). We conduct extensive experiments to analyze LexVLA. Codes are available at https://github.com/Clementine24/LexVLA.