Retrieval over Classification: Integrating Relation Semantics for Multimodal Relation Extraction

📄 arXiv: 2509.21151v1 📥 PDF

作者: Lei Hei, Tingjing Liao, Yingxin Pei, Yiyang Qi, Jiaqi Wang, Ruiting Li, Feiliang Ren

分类: cs.CL, cs.IR

发布日期: 2025-09-25

备注: Accepted by EMNLP 2025 Main Conference

💡 一句话要点

提出ROC框架，将多模态关系抽取重构为检索任务，提升细粒度关系理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态关系抽取 检索式学习 对比学习 大型语言模型 知识图谱 自然语言处理 计算机视觉

📋 核心要点

  1. 现有方法在多模态关系抽取中采用分类范式，忽略了实体类型等结构信息，限制了细粒度关系理解。
  2. ROC框架将关系抽取转化为检索任务，利用大型语言模型增强关系语义表达，并通过对比学习对齐实体-关系对。
  3. 实验结果表明，ROC在MNRE和MORE数据集上取得了SOTA性能，并展现出更强的鲁棒性和可解释性。

📝 摘要（中文）

关系抽取（RE）旨在识别非结构化文本中实体间的语义关系。虽然最近的研究将传统RE扩展到多模态场景，但大多数方法仍然采用基于分类的范式，融合多模态特征，并将关系表示为离散标签。这种范式存在两个显著的局限性：（1）忽略了实体类型和位置线索等结构约束；（2）缺乏对细粒度关系理解的语义表达能力。我们提出了检索优于分类（ROC），这是一种新颖的框架，它将多模态RE重构为由关系语义驱动的检索任务。ROC通过多模态编码器整合实体类型和位置信息，使用大型语言模型将关系标签扩展为自然语言描述，并通过基于语义相似性的对比学习对齐实体-关系对。实验表明，我们的方法在基准数据集MNRE和MORE上实现了最先进的性能，并表现出更强的鲁棒性和可解释性。

🔬 方法详解

问题定义：现有的多模态关系抽取方法主要采用基于分类的范式，直接将融合后的多模态特征映射到预定义的离散关系标签。这种方法忽略了实体类型、位置等结构化信息，并且离散标签难以表达细粒度的关系语义，导致模型在复杂场景下的性能受限。

核心思路：论文的核心思路是将多模态关系抽取问题转化为一个检索问题。具体来说，给定一个实体对，模型不是直接预测它们之间的关系标签，而是从一个关系描述库中检索最相关的关系描述。这种方法可以更好地利用关系语义信息，并且可以更容易地整合实体类型和位置等结构化信息。

技术框架：ROC框架主要包含三个模块：多模态编码器、关系描述生成器和对比学习模块。多模态编码器负责将文本和图像信息编码成实体对的表示向量，同时整合实体类型和位置信息。关系描述生成器使用大型语言模型将关系标签扩展为自然语言描述，从而增强关系语义表达。对比学习模块通过最大化实体对表示向量和相关关系描述向量之间的相似度，最小化与不相关关系描述向量之间的相似度，从而学习到更好的实体-关系对齐表示。

关键创新：ROC框架的关键创新在于将多模态关系抽取问题转化为检索问题，并利用大型语言模型增强关系语义表达。与传统的分类方法相比，ROC框架可以更好地利用关系语义信息，并且可以更容易地整合实体类型和位置等结构化信息。此外，ROC框架还通过对比学习来学习实体-关系对齐表示，从而进一步提升了模型的性能。

关键设计：在多模态编码器中，论文使用了Transformer网络来融合文本和图像信息，并使用实体类型嵌入和位置嵌入来整合结构化信息。在关系描述生成器中，论文使用了GPT-3模型来生成自然语言关系描述。在对比学习模块中，论文使用了InfoNCE损失函数来最大化实体对表示向量和相关关系描述向量之间的相似度，最小化与不相关关系描述向量之间的相似度。

📊 实验亮点

ROC在MNRE和MORE数据集上取得了SOTA性能。在MNRE数据集上，ROC的F1值比之前的SOTA模型提高了2.3%。在MORE数据集上，ROC的F1值比之前的SOTA模型提高了1.8%。此外，实验还表明，ROC框架具有更强的鲁棒性和可解释性。

🎯 应用场景

该研究成果可应用于智能客服、知识图谱构建、信息检索等领域。例如，在智能客服中，可以利用该技术准确识别用户问题中的实体关系，从而提供更精准的答案。在知识图谱构建中，可以自动抽取文本和图像中的实体关系，从而丰富知识图谱的内容。在信息检索中，可以根据用户输入的实体关系进行检索，从而提供更相关的结果。

📄 摘要（原文）

Relation extraction (RE) aims to identify semantic relations between entities in unstructured text. Although recent work extends traditional RE to multimodal scenarios, most approaches still adopt classification-based paradigms with fused multimodal features, representing relations as discrete labels. This paradigm has two significant limitations: (1) it overlooks structural constraints like entity types and positional cues, and (2) it lacks semantic expressiveness for fine-grained relation understanding. We propose \underline{R}etrieval \underline{O}ver \underline{C}lassification (ROC), a novel framework that reformulates multimodal RE as a retrieval task driven by relation semantics. ROC integrates entity type and positional information through a multimodal encoder, expands relation labels into natural language descriptions using a large language model, and aligns entity-relation pairs via semantic similarity-based contrastive learning. Experiments show that our method achieves state-of-the-art performance on the benchmark datasets MNRE and MORE and exhibits stronger robustness and interpretability.