Multi-Grained Query-Guided Set Prediction Network for Grounded Multimodal Named Entity Recognition

📄 arXiv: 2407.21033v3 📥 PDF

作者: Jielong Tang, Zhenxing Wang, Ziyang Gong, Jianxing Yu, Xiangwei Zhu, Jian Yin

分类: cs.IR, cs.AI, cs.CL, cs.CV

发布日期: 2024-07-17 (更新: 2025-01-25)

备注: 13 pages, 7 figures

💡 一句话要点

提出多粒度查询引导的集合预测网络MQSPN，解决GMNER中实体歧义和暴露偏差问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GMNER 多模态命名实体识别 集合预测 跨模态对齐 查询引导 信息抽取

📋 核心要点

  1. 现有GMNER方法难以区分歧义实体，且序列生成模型存在暴露偏差问题，未能充分理解多模态实体关系。
  2. MQSPN通过可学习查询显式对齐文本实体和视觉区域，增强实体内部连接，并将GMNER重构为集合预测问题。
  3. 实验结果表明，MQSPN在多个基准测试中取得了state-of-the-art的性能，验证了其有效性。

📝 摘要（中文）

本文提出了一种用于Grounded Multimodal Named Entity Recognition (GMNER) 的新型统一框架，名为多粒度查询引导的集合预测网络 (MQSPN)。GMNER 是一项新兴的信息抽取 (IE) 任务，旨在从给定的句子-图像对数据中同时提取实体的跨度、类型和相应的视觉区域。现有的基于机器阅读理解或序列生成框架的统一方法在该任务中存在局限性。前者利用人工设计的类型查询，难以区分歧义实体，例如 Jordan (人) 和 off-White x Jordan (鞋)。后者遵循逐个解码的顺序，存在暴露偏差问题。我们认为这些工作误解了多模态实体之间的关系。为了解决这些问题，MQSPN 通过采用一组可学习的查询来加强实体内部连接，从而显式地将文本实体与视觉区域对齐。基于不同的实体内部建模，MQSPN 将 GMNER 重构为一个集合预测问题，引导模型从最佳全局匹配的角度建立适当的实体间关系。此外，我们引入了一个查询引导的融合网络 (QFNet) 作为胶水网络，以促进更好地对齐两层关系。大量实验表明，我们的方法在广泛使用的基准测试中取得了最先进的性能。

🔬 方法详解

问题定义：Grounded Multimodal Named Entity Recognition (GMNER) 旨在从图像-文本对中提取实体的文本范围、类型以及对应的视觉区域。现有方法，如基于机器阅读理解的方法，依赖人工设计的类型查询，难以区分语义相似但类型不同的实体；而基于序列生成的方法则存在暴露偏差问题，即训练和推理阶段的差异导致性能下降。这些方法未能充分建模实体内部以及实体之间的关系。

核心思路：MQSPN的核心思路是将GMNER任务转化为一个集合预测问题，通过学习实体内部和实体之间的关系来解决现有方法的不足。通过引入可学习的查询向量，模型能够更好地对齐文本和视觉信息，从而区分歧义实体。将任务视为集合预测，则可以从全局最优的角度考虑实体间的关系，避免序列生成中的误差累积。

技术框架：MQSPN的整体框架包含以下几个主要模块：1) 文本编码器：用于提取文本特征；2) 图像编码器：用于提取图像特征；3) 查询引导的融合网络 (QFNet)：用于融合文本和图像特征，并利用可学习的查询向量进行跨模态对齐；4) 集合预测模块：基于融合后的特征，预测实体集合，包括实体的文本范围、类型和对应的视觉区域。

关键创新：MQSPN的关键创新在于：1) 引入可学习的查询向量，显式地对齐文本和视觉信息，增强实体内部的连接；2) 将GMNER任务重构为集合预测问题，从全局最优的角度建模实体间的关系，避免序列生成中的误差累积；3) 设计了查询引导的融合网络 (QFNet)，用于更好地融合文本和图像特征。与现有方法相比，MQSPN能够更有效地建模多模态实体关系，从而提高GMNER的性能。

关键设计：QFNet使用Transformer结构，通过自注意力机制和交叉注意力机制来融合文本和图像特征。可学习的查询向量被用作交叉注意力机制的query，引导模型关注与实体相关的视觉区域。损失函数包括分类损失和定位损失，用于优化实体类型和视觉区域的预测。具体的参数设置（如Transformer的层数、注意力头的数量等）以及损失函数的权重需要根据具体数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MQSPN在多个GMNER基准数据集上取得了state-of-the-art的性能。例如，在XXX数据集上，MQSPN的F1值比现有最佳模型提高了X个百分点。消融实验表明，可学习的查询向量和集合预测模块对性能提升有显著贡献。实验结果验证了MQSPN在建模多模态实体关系方面的有效性。

🎯 应用场景

GMNER在信息抽取、智能问答、图像检索等领域具有广泛的应用前景。例如，在电商领域，可以自动识别商品图片中的实体，并提取相关的文本描述，从而提高商品检索的效率。在社交媒体分析中，可以识别图片中的人物和地点，并分析相关的文本内容，从而更好地理解用户的情感和意图。该研究的成果有助于提升多模态信息处理的能力，为相关应用提供更准确、更全面的信息。

📄 摘要（原文）

Grounded Multimodal Named Entity Recognition (GMNER) is an emerging information extraction (IE) task, aiming to simultaneously extract entity spans, types, and corresponding visual regions of entities from given sentence-image pairs data. Recent unified methods employing machine reading comprehension or sequence generation-based frameworks show limitations in this difficult task. The former, utilizing human-designed type queries, struggles to differentiate ambiguous entities, such as Jordan (Person) and off-White x Jordan (Shoes). The latter, following the one-by-one decoding order, suffers from exposure bias issues. We maintain that these works misunderstand the relationships of multimodal entities. To tackle these, we propose a novel unified framework named Multi-grained Query-guided Set Prediction Network (MQSPN) to learn appropriate relationships at intra-entity and inter-entity levels. Specifically, MQSPN explicitly aligns textual entities with visual regions by employing a set of learnable queries to strengthen intra-entity connections. Based on distinct intra-entity modeling, MQSPN reformulates GMNER as a set prediction, guiding models to establish appropriate inter-entity relationships from a optimal global matching perspective. Additionally, we incorporate a query-guided Fusion Net (QFNet) as a glue network to boost better alignment of two-level relationships. Extensive experiments demonstrate that our approach achieves state-of-the-art performances in widely used benchmarks.