NEUCORE: Neural Concept Reasoning for Composed Image Retrieval

📄 arXiv: 2310.01358v1 📥 PDF

作者: Shu Zhao, Huijuan Xu

分类: cs.CV

发布日期: 2023-10-02

💡 一句话要点

提出NEUCORE以解决复合图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合图像检索 多模态融合 概念对齐 渐进式融合 弱监督学习

📋 核心要点

  1. 核心问题：现有方法未能有效利用参考图像与文本修饰符之间的互补性，导致复合图像检索性能不足。
  2. 方法要点：提出NEUCORE模型，通过多模态概念对齐和渐进式融合，提升信息检索的准确性。
  3. 实验或效果：在三个数据集上进行评估，NEUCORE模型实现了最先进的结果，显示出显著的性能提升。

📝 摘要（中文）

复合图像检索结合参考图像和文本修饰符来识别目标图像，是一项具有挑战性的任务，需要模型理解视觉和语言模态及其相互作用。现有方法侧重于整体多模态交互建模，忽视了参考图像和文本修饰符之间的复合和互补特性。为更好地利用多模态输入的互补性进行有效的信息融合和检索，本文提出了NEUral COncept REasoning（NEUCORE）模型，该模型通过多模态概念对齐和渐进式多模态融合来识别与文本修饰符对应的视觉位置。实验结果表明，该方法在三个数据集上达到了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决复合图像检索中的多模态理解问题。现有方法往往忽视了参考图像与文本修饰符之间的互补性，导致信息融合效果不佳。

核心思路：NEUCORE模型通过细粒度的概念级多模态对齐，识别文本修饰符与参考图像及目标图像之间的视觉位置关系，从而实现更有效的信息融合和检索。

技术框架：该模型包括多模态概念对齐模块和渐进式多模态融合模块。首先，利用多实例学习框架进行图像和句子级的弱监督学习，建立文本修饰符与图像的概念对齐。然后，通过对齐的概念进行特征融合，形成用于检索的判别性特征。

关键创新：NEUCORE的主要创新在于引入了多模态概念对齐和渐进式融合策略，区别于传统方法的整体建模方式，能够更好地处理文本修饰符所指向的语义概念。

关键设计：模型采用了多实例学习框架，结合图像和文本的弱监督信息，设计了统一的执行架构，并通过注意力机制聚焦于语言语义概念，以提升特征融合的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NEUCORE模型在三个数据集上进行了评估，取得了最先进的结果，具体性能提升幅度达到XX%（具体数据待补充），显著优于现有基线方法，展示了其在复合图像检索任务中的有效性。

🎯 应用场景

该研究在图像检索、智能搜索引擎和多模态交互系统等领域具有广泛的应用潜力。通过提升复合图像检索的准确性，NEUCORE模型能够为用户提供更为精准的图像搜索结果，进而推动相关技术的发展和应用。

📄 摘要（原文）

Composed image retrieval which combines a reference image and a text modifier to identify the desired target image is a challenging task, and requires the model to comprehend both vision and language modalities and their interactions. Existing approaches focus on holistic multi-modal interaction modeling, and ignore the composed and complimentary property between the reference image and text modifier. In order to better utilize the complementarity of multi-modal inputs for effective information fusion and retrieval, we move the multi-modal understanding to fine-granularity at concept-level, and learn the multi-modal concept alignment to identify the visual location in reference or target images corresponding to text modifier. Toward the end, we propose a NEUral COncept REasoning (NEUCORE) model which incorporates multi-modal concept alignment and progressive multimodal fusion over aligned concepts. Specifically, considering that text modifier may refer to semantic concepts not existing in the reference image and requiring to be added into the target image, we learn the multi-modal concept alignment between the text modifier and the concatenation of reference and target images, under multiple-instance learning framework with image and sentence level weak supervision. Furthermore, based on aligned concepts, to form discriminative fusion features of the input modalities for accurate target image retrieval, we propose a progressive fusion strategy with unified execution architecture instantiated by the attended language semantic concepts. Our proposed approach is evaluated on three datasets and achieves state-of-the-art results.