Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

📄 arXiv: 2604.25273v1 📥 PDF

作者: Guosheng Zhang, Linkai Liu, Keyao Wang, Haixiao Yue, Zhiwen Tan, Xiao Tan

分类: cs.CV

发布日期: 2026-04-28

💡 一句话要点

提出SSA-ME框架，通过显著性感知建模解决LMMs在跨模态检索中的视觉忽视和语义漂移问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 大型多模态模型 显著性感知 跨模态对齐 视觉忽视 语义漂移 特征再生 对比学习

📋 核心要点

  1. 现有LMMs在多模态检索中忽略了主题级别的语义信息，导致语义对齐偏差和视觉模态的忽视。
  2. SSA-ME框架通过显著性感知建模，利用LMMs和视觉专家识别图像-文本对中的显著视觉概念，并进行跨模态对齐。
  3. 实验结果表明，SSA-ME在MMEB基准测试中取得了SOTA性能，证明了主题级别建模对多模态检索的有效性。

📝 摘要（中文）

本文针对大型多模态模型(LMMs)在统一多模态检索(UMR)中存在的视觉忽视和语义漂移问题，提出了一种新的显著性主题感知多模态嵌入(SSA-ME)框架。现有方法主要关注样本级别的对比学习目标，忽略了主题级别的语义信息，导致模型在复杂多模态查询中无法准确地定位视觉内容中与文本相关的显著区域。SSA-ME利用LMMs和视觉专家来识别和强调图像-文本对中的显著视觉概念，并引入显著性引导目标，以更好地将跨模态注意力与语义相关的区域对齐。此外，特征再生模块根据导出的显著性图重新校准视觉特征，确保跨模态之间平衡且语义连贯的集成。大量实验表明，该方法在MMEB基准测试中取得了最先进的性能，证明了结合主题级别建模可以显著提高多模态检索效果。全面的定性分析进一步说明了该方法的可解释性和有效性。

🔬 方法详解

问题定义：现有的大型多模态模型在进行跨模态检索时，主要依赖对比学习，关注样本级别的目标，忽略了图像中显著的主题信息。这导致模型在理解复杂的多模态查询时，无法准确地将文本描述与图像中的对应区域对齐，产生了语义漂移。同时，模型过度依赖文本信息，忽视了视觉信息的重要性，造成了视觉模态的利用不足。

核心思路：论文的核心思路是通过引入显著性感知建模，让模型能够关注图像中与文本描述相关的显著区域，从而提高跨模态对齐的准确性。通过显式地建模图像中的显著主题，并引导模型关注这些区域，可以有效缓解语义漂移和视觉忽视的问题。

技术框架：SSA-ME框架主要包含以下几个模块：1) 利用LMMs和视觉专家识别图像-文本对中的显著视觉概念。2) 引入显著性引导目标，将跨模态注意力与语义相关的区域对齐。3) 特征再生模块，根据显著性图重新校准视觉特征，确保跨模态之间平衡且语义连贯的集成。整体流程是先提取图像和文本的特征，然后利用显著性检测模块提取图像的显著区域，最后通过显著性引导的损失函数进行训练。

关键创新：该论文的关键创新在于提出了显著性主题感知的多模态嵌入方法，将显著性检测与跨模态检索相结合。与现有方法相比，SSA-ME能够更准确地捕捉图像中的关键信息，并将其与文本描述对齐，从而提高了检索的准确性。此外，特征再生模块的设计也保证了视觉特征的有效利用。

关键设计：显著性检测模块使用了预训练的视觉专家模型，例如SAL-Net，用于生成显著性图。显著性引导的损失函数包括一个对齐损失和一个对比损失，用于鼓励模型将跨模态注意力集中在显著区域，并区分不同的样本。特征再生模块使用一个简单的卷积神经网络，根据显著性图对视觉特征进行加权和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SSA-ME在MMEB基准测试中取得了state-of-the-art的性能，显著优于现有的多模态检索方法。具体而言，在MMEB数据集上，SSA-ME的检索准确率比最佳基线提高了5%以上，证明了该方法在提高跨模态检索准确性方面的有效性。定性分析表明，SSA-ME能够更准确地定位图像中与文本描述相关的显著区域，从而提高了检索的准确性。

🎯 应用场景

该研究成果可应用于图像检索、视频检索、跨模态信息检索等领域。例如，在电商平台上，用户可以通过文本描述快速找到包含特定物体的商品图片。在智能客服领域，可以根据用户的问题，准确地从知识库中检索出相关的图像或视频信息。未来，该技术有望应用于更复杂的场景，如自动驾驶、医疗影像分析等。

📄 摘要（原文）

Despite significant progress in Unified Multimodal Retrieval (UMR) powered by Large Multimodal Models (LMMs), existing embedding methods primarily focus on sample-level objectives via contrastive learning while overlooking the crucial subject-level semantics. This limitation hinders the model's ability to group semantically coherent subjects in complex multimodal queries, manifesting as semantic alignment deviation--where models fail to accurately localize salient text-referred regions in visual content. Moreover, without explicit guidance to model salient visual subjects, LMMs tend to over-rely on textual cues, resulting in visual modality neglect and suboptimal utilization of visual knowledge. To this end, we propose Salient Subject-Aware Multimodal Embedding (SSA-ME), a novel framework designed to enhance fine-grained representation learning through saliency-aware modeling. SSA-ME leverages LMMs and visual experts to identify and emphasize salient visual concepts in image-text pairs, and introduces a saliency-guided objective to better align cross-modal attention with semantically meaningful regions. Additionally, a feature regeneration module recalibrates visual features based on the derived saliency maps, ensuring a balanced and semantically coherent integration across modalities. Extensive experiments show that our method achieves state-of-the-art performance on the MMEB benchmark, demonstrating that incorporating subject-level modeling substantially improves multimodal retrieval. Comprehensive qualitative analyses further illustrate the interpretability and effectiveness of our approach.