PSQE: A Theoretical-Practical Approach to Pseudo Seed Quality Enhancement for Unsupervised MMEA

📄 arXiv: 2602.22903 📥 PDF

作者: Yunpeng Hong, Chenyang Bu, Jie Zhang, Yi He, Di Wu, Xindong Wu

分类: cs.IR, cs.LG

发布日期: 2026-02-28

💡 一句话要点

提出PSQE，通过增强伪种子质量提升无监督多模态实体对齐性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态实体对齐 无监督学习 伪种子增强 对比学习 知识图谱 图覆盖平衡

📋 核心要点

  1. 现有无监督多模态实体对齐方法在知识图谱中存在伪种子覆盖不平衡的问题，导致模型学习偏向高密度区域。
  2. PSQE通过多模态信息和聚类-重采样策略，提高伪种子的精度和图覆盖的平衡性，从而提升模型性能。
  3. 实验结果表明，PSQE作为一个即插即用模块，能够显著提升现有基线模型的性能，验证了其有效性。

📝 摘要（中文）

多模态实体对齐(MMEA)旨在识别不同数据模态下的等价实体，从而实现结构化数据集成，进而提升各种大型语言模型的应用性能。为了摆脱难以获取的标注种子对的需求，最近的方法转向使用伪对齐种子的无监督范式。然而，多模态环境下的无监督实体对齐仍未得到充分探索，主要是因为多模态信息的结合通常会导致知识图谱内伪种子的覆盖不平衡。为了克服这个问题，我们提出了PSQE(伪种子质量增强)，通过多模态信息和聚类-重采样来提高伪种子的精度和图覆盖平衡。理论分析揭示了伪种子对现有基于对比学习的MMEA模型的影响。特别是，伪种子可以同时影响对比学习中的吸引项和排斥项，而不平衡的图覆盖会导致模型优先考虑高密度区域，从而削弱其对稀疏区域实体的学习能力。实验结果验证了我们的理论发现，并表明PSQE作为一个即插即用模块，可以显著提高基线的性能。

🔬 方法详解

问题定义：论文旨在解决无监督多模态实体对齐（MMEA）中，由于伪种子质量不高以及图覆盖不平衡导致模型性能下降的问题。现有方法在构建伪种子时，容易引入噪声，并且在多模态信息融合时，可能导致某些实体在知识图谱中的表示不足，从而影响对齐效果。

核心思路：论文的核心思路是通过增强伪种子的质量和平衡图覆盖来提升MMEA的性能。具体来说，利用多模态信息来提高伪种子的精度，并采用聚类-重采样策略来平衡知识图谱中不同区域的覆盖率，从而使模型能够更有效地学习实体之间的关系。

技术框架：PSQE作为一个即插即用模块，可以嵌入到现有的基于对比学习的MMEA模型中。其主要流程包括：1) 利用多模态信息生成初始伪种子；2) 使用聚类算法将实体划分为不同的簇；3) 对每个簇进行重采样，以平衡图覆盖；4) 使用增强后的伪种子进行对比学习，训练实体嵌入。

关键创新：论文的关键创新在于提出了一个理论框架，分析了伪种子对对比学习的影响，并设计了相应的算法来提高伪种子的质量和平衡图覆盖。与现有方法相比，PSQE能够更有效地利用多模态信息，并减轻图覆盖不平衡带来的负面影响。

关键设计：在聚类-重采样阶段，论文可能采用了诸如K-means或谱聚类等算法来划分实体簇。重采样策略可能包括过采样稀疏区域的实体，或欠采样密集区域的实体。对比学习的损失函数通常采用InfoNCE loss，用于最大化正样本对之间的相似度，并最小化负样本对之间的相似度。具体的参数设置（如聚类数量、重采样比例、对比学习的温度系数等）可能需要根据具体数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PSQE作为一个即插即用模块，能够显著提升现有基线模型的性能。具体而言，PSQE在多个数据集上实现了性能提升，验证了其有效性。论文强调PSQE能够提高伪种子的精度和平衡图覆盖，从而改善对比学习的效果。

🎯 应用场景

该研究成果可应用于知识图谱融合、跨模态信息检索、推荐系统等领域。通过提升多模态实体对齐的准确性，可以更好地整合来自不同来源的数据，提高信息检索的效率和推荐系统的个性化程度。未来，该方法有望应用于更复杂的知识图谱和更多模态的数据。

📄 摘要（原文）

Multimodal Entity Alignment (MMEA) aims to identify equivalent entities across different data modalities, enabling structural data integration that in turn improves the performance of various large language model applications. To lift the requirement of labeled seed pairs that are difficult to obtain, recent methods shifted to an unsupervised paradigm using pseudo-alignment seeds. However, unsupervised entity alignment in multimodal settings remains underexplored, mainly because the incorporation of multimodal information often results in imbalanced coverage of pseudo-seeds within the knowledge graph. To overcome this, we propose PSQE (Pseudo-Seed Quality Enhancement) to improve the precision and graph coverage balance of pseudo seeds via multimodal information and clustering-resampling. Theoretical analysis reveals the impact of pseudo seeds on existing contrastive learning-based MMEA models. In particular, pseudo seeds can influence the attraction and the repulsion terms in contrastive learning at once, whereas imbalanced graph coverage causes models to prioritize high-density regions, thereby weakening their learning capability for entities in sparse regions. Experimental results validate our theoretical findings and show that PSQE as a plug-and-play module can improve the performance of baselines by considerable margins.