Multi-Perspective Evidence Synthesis and Reasoning for Unsupervised Multimodal Entity Linking

📄 arXiv: 2604.20283v1 📥 PDF

作者: Mo Zhou, Jianwei Wang, Kai Wang, Helen Paik, Ying Zhang, Wenjie Zhang

分类: cs.CL

发布日期: 2026-04-22

💡 一句话要点

提出MSR-MEL框架，利用多视角证据合成与推理，解决无监督多模态实体链接问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态实体链接 无监督学习 大型语言模型 证据合成 图神经网络

📋 核心要点

  1. 现有MEL方法侧重于实例中心特征，忽略了更广泛证据及其相互依赖性，导致链接效果受限。
  2. MSR-MEL框架通过多视角证据合成与推理，利用LLM进行语义分析和排序，提升链接准确性。
  3. 实验表明，MSR-MEL在MEL基准测试中显著优于现有无监督方法，验证了其有效性。

📝 摘要（中文）

多模态实体链接(MEL)是数据管理中的一项基本任务，它将具有不同模态的模糊提及项映射到知识库中的多模态实体。然而，大多数现有的MEL方法主要侧重于优化以实例为中心的特征和证据，而对更广泛形式的证据及其复杂的相互依赖关系探索不足。受人类专家决策过程依赖于多视角判断的启发，本文提出了MSR-MEL，一个基于大型语言模型(LLM)的多视角证据合成与推理框架，用于无监督MEL。具体来说，我们采用一个两阶段框架：(1)离线多视角证据合成，构建一个全面的证据集。这包括捕获提及项和实体的以实例为中心的多模态信息的实例中心证据，聚合邻域信息的组级别证据，基于字符串重叠率的词汇证据，以及基于简单汇总统计的统计证据。我们框架的一个核心贡献是组级别证据的合成，它通过图有效地聚合重要的邻域信息。我们首先构建LLM增强的上下文图。随后，通过非对称的师生图神经网络联合对齐不同的模态。(2)在线多视角证据推理，利用LLM作为推理模块，分析多视角证据的相关性和语义，从而推导出一种有效的排序策略，以实现准确的实体链接，而无需监督。在广泛使用的MEL基准上的大量实验表明，MSR-MEL始终优于最先进的无监督方法。

🔬 方法详解

问题定义：论文旨在解决无监督多模态实体链接（MEL）问题。现有方法主要依赖于实例级别的特征，忽略了实体间的关系以及不同类型证据之间的关联，导致链接准确率不高。此外，缺乏监督信号使得模型难以学习有效的实体表示和排序策略。

核心思路：论文的核心思路是模拟人类专家进行决策的过程，即从多个角度收集证据，并综合分析这些证据之间的关联性，最终做出判断。通过构建多视角的证据体系，并利用大型语言模型（LLM）进行推理，从而在无监督的情况下实现更准确的实体链接。

技术框架：MSR-MEL框架分为两个阶段：离线多视角证据合成和在线多视角证据推理。

  1. 离线多视角证据合成：
  2. 实例中心证据：提取提及项和实体的多模态信息，例如文本描述、图像特征等。
  3. 组级别证据：构建LLM增强的上下文图，利用图神经网络聚合邻域信息，实现不同模态的联合对齐。
  4. 词汇证据：计算提及项和实体名称之间的字符串重叠率。

  5. 统计证据：利用简单的汇总统计信息，例如实体出现的频率等。

  6. 在线多视角证据推理：

  7. 利用LLM作为推理模块，分析多视角证据的相关性和语义。
  8. 基于LLM的推理结果，学习一种有效的排序策略，对候选实体进行排序。

关键创新：该论文的关键创新在于提出了多视角证据合成与推理的框架，并利用LLM进行证据分析和排序。与现有方法相比，MSR-MEL能够更全面地利用各种类型的证据，并有效地建模证据之间的关联性，从而提高链接准确率。

关键设计： - LLM增强的上下文图：使用LLM生成实体和提及项的上下文表示，并将其作为图节点的初始特征。 - 非对称师生图神经网络：使用非对称的师生网络结构，分别学习实体和提及项的图表示，并通过知识蒸馏的方式进行联合训练。 - 基于LLM的排序策略：使用LLM对候选实体进行排序，排序的依据是LLM对不同证据的分析结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MSR-MEL在多个MEL基准数据集上显著优于现有的无监督方法。具体来说，MSR-MEL在实体链接的准确率方面取得了显著提升，证明了多视角证据合成与推理框架的有效性。代码已开源。

🎯 应用场景

MSR-MEL可应用于知识图谱构建、信息检索、问答系统等领域。通过将文本、图像等多种模态的信息链接到知识库中的实体，可以提升信息检索的准确性和效率，并为问答系统提供更丰富的知识来源。该研究对多模态数据处理和知识图谱应用具有重要意义。

📄 摘要（原文）

Multimodal Entity Linking (MEL) is a fundamental task in data management that maps ambiguous mentions with diverse modalities to the multimodal entities in a knowledge base. However, most existing MEL approaches primarily focus on optimizing instance-centric features and evidence, leaving broader forms of evidence and their intricate interdependencies insufficiently explored. Motivated by the observation that human expert decision-making process relies on multi-perspective judgment, in this work, we propose MSR-MEL, a Multi-perspective Evidence Synthesis and Reasoning framework with Large Language Models (LLMs) for unsupervised MEL. Specifically, we adopt a two-stage framework: (1) Offline Multi-Perspective Evidence Synthesis constructs a comprehensive set of evidence. This includes instance-centric evidence capturing the instance-centric multimodal information of mentions and entities, group-level evidence that aggregates neighborhood information, lexical evidence based on string overlap ratio, and statistical evidence based on simple summary statistics. A core contribution of our framework is the synthesis of group-level evidence, which effectively aggregates vital neighborhood information by graph. We first construct LLM-enhanced contextualized graphs. Subsequently, different modalities are jointly aligned through an asymmetric teacher-student graph neural network. (2) Online Multi-Perspective Evidence Reasoning leverages the power of LLM as a reasoning module to analyze the correlation and semantics of the multi-perspective evidence to induce an effective ranking strategy for accurate entity linking without supervision. Extensive experiments on widely used MEL benchmarks demonstrate that MSR-MEL consistently outperforms state-of-the-art unsupervised methods. The source code of this paper was available at: https://anonymous.4open.science/r/MSR-MEL-C21E/.