NumCoKE: Ordinal-Aware Numerical Reasoning over Knowledge Graphs with Mixture-of-Experts and Contrastive Learning

📄 arXiv: 2411.12950v3 📥 PDF

作者: Ming Yin, Zongsheng Cao, Qiqing Xia, Chenyang Tu, Neng Gao

分类: cs.AI

发布日期: 2024-11-20 (更新: 2025-12-09)

备注: Update

💡 一句话要点

提出NumCoKE框架，通过混合专家模型和对比学习增强知识图谱数值推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识图谱 数值推理 混合专家模型 对比学习 序数关系

📋 核心要点

  1. 现有知识图谱数值推理方法难以有效整合符号信息和数值属性，导致语义理解不完整。
  2. NumCoKE框架通过混合专家模型MoEKA和序数对比学习OKCL，实现更精准的数值推理。
  3. 实验结果表明，NumCoKE在多个基准数据集上显著优于现有方法，提升了数值推理性能。

📝 摘要（中文）

知识图谱(KGs)是各种人工智能应用的关键支柱，包括自然语言理解和推荐。一个有前景但尚未充分探索的方向是知识图谱上的数值推理，它不仅利用符号三元组，还利用数值属性值(例如，长度、重量)来推断新的事实。然而，现有的方法在两个关键方面存在不足：(1)不完整的语义集成：大多数模型难以在统一的表示空间中联合编码实体、关系和数值属性，限制了它们从数值信息中提取关系感知语义的能力。(2)序数不可区分性：由于接近值之间的细微差异和采样不平衡，模型通常无法捕捉细粒度的序数关系(例如，更长、更重)，尤其是在存在难负样本的情况下。为了解决这些挑战，我们提出了NumCoKE，一个基于混合专家模型和序数对比嵌入的知识图谱数值推理框架。为了克服(C1)，我们引入了一个混合专家知识感知(MoEKA)编码器，它将符号和数值组件联合对齐到共享语义空间中，同时动态地将属性特征路由到特定于关系的专家。(C2)，我们提出了序数知识对比学习(OKCL)，它使用先验知识构建序数感知的正负样本，使模型能够更好地辨别细微的语义变化。在三个公共KG基准上的大量实验表明，NumCoKE在不同的属性分布上始终优于竞争基线，验证了其在语义集成和序数推理方面的优越性。

🔬 方法详解

问题定义：现有知识图谱数值推理方法无法有效地将符号信息（实体、关系）和数值属性（如长度、重量）整合到一个统一的语义空间中，导致模型难以提取关系感知的数值语义。此外，模型难以区分细微的序数关系，例如“更长”或“更重”，尤其是在存在难以区分的负样本时。

核心思路：NumCoKE的核心思路是通过混合专家模型（MoEKA）实现符号信息和数值属性的联合编码，并利用序数对比学习（OKCL）增强模型对细粒度序数关系的辨别能力。MoEKA将属性特征动态路由到关系特定的专家，从而提取关系感知的数值语义。OKCL则通过构建序数感知的正负样本，帮助模型学习区分细微的语义差异。

技术框架：NumCoKE框架主要包含两个模块：MoEKA编码器和OKCL学习策略。MoEKA编码器首先将实体、关系和数值属性嵌入到统一的向量空间中，然后利用混合专家网络，根据不同的关系将数值属性特征路由到不同的专家。OKCL学习策略则利用先验知识构建序数感知的正负样本，并使用对比损失函数训练模型，使其能够更好地区分细微的序数关系。

关键创新：NumCoKE的关键创新在于：(1) 提出了MoEKA编码器，能够将符号信息和数值属性联合编码到统一的语义空间中，并动态地将属性特征路由到关系特定的专家，从而提取关系感知的数值语义。(2) 提出了OKCL学习策略，利用先验知识构建序数感知的正负样本，并使用对比损失函数训练模型，使其能够更好地区分细微的序数关系。

关键设计：MoEKA编码器使用Transformer结构进行实体、关系和数值属性的嵌入。混合专家网络包含多个专家，每个专家负责处理特定关系下的数值属性特征。OKCL学习策略使用Hard Negative Mining方法构建难以区分的负样本。损失函数采用InfoNCE Loss，用于最大化正样本之间的相似度，同时最小化负样本之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NumCoKE在三个公开知识图谱基准数据集上进行了广泛的实验，结果表明NumCoKE在各种属性分布下始终优于竞争基线。例如，在某些数据集上，NumCoKE的性能提升超过了5%，验证了其在语义集成和序数推理方面的优越性。

🎯 应用场景

NumCoKE可应用于多种知识图谱相关的任务，例如知识图谱补全、问答系统、推荐系统等。通过增强知识图谱的数值推理能力，可以提高这些任务的准确性和可靠性。例如，在推荐系统中，可以利用NumCoKE推理出用户可能感兴趣的具有特定数值属性的商品。

📄 摘要（原文）

Knowledge graphs (KGs) serve as a vital backbone for a wide range of AI applications, including natural language understanding and recommendation. A promising yet underexplored direction is numerical reasoning over KGs, which involves inferring new facts by leveraging not only symbolic triples but also numerical attribute values (e.g., length, weight). However, existing methods fall short in two key aspects: (1) Incomplete semantic integration: Most models struggle to jointly encode entities, relations, and numerical attributes in a unified representation space, limiting their ability to extract relation-aware semantics from numeric information. (2) Ordinal indistinguishability: Due to subtle differences between close values and sampling imbalance, models often fail to capture fine-grained ordinal relationships (e.g., longer, heavier), especially in the presence of hard negatives. To address these challenges, we propose NumCoKE, a numerical reasoning framework for KGs based on Mixture-of-Experts and Ordinal Contrastive Embedding. To overcome (C1), we introduce a Mixture-of-Experts Knowledge-Aware (MoEKA) encoder that jointly aligns symbolic and numeric components into a shared semantic space, while dynamically routing attribute features to relation-specific experts. To handle (C2), we propose Ordinal Knowledge Contrastive Learning (OKCL), which constructs ordinal-aware positive and negative samples using prior knowledge, enabling the model to better discriminate subtle semantic shifts. Extensive experiments on three public KG benchmarks demonstrate that NumCoKE consistently outperforms competitive baselines across diverse attribute distributions, validating its superiority in both semantic integration and ordinal reasoning.