Learning Robust Heterogeneous Graph Representations via Contrastive-Reconstruction under Sparse Semantics

📄 arXiv: 2506.06682v1 📥 PDF

作者: Di Lin, Wanjing Ren, Xuanbin Li, Rui Zhang

分类: cs.LG

发布日期: 2025-06-07

💡 一句话要点

HetCRF：通过对比重构学习异构图的鲁棒表示，解决语义稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构图表示学习 自监督学习 对比学习 掩码自编码器 图神经网络 语义稀疏性 节点分类

📋 核心要点

  1. 现有同构图混合自监督学习框架难以设计满足MAE和CL语义要求的共享编码器，且在语义稀疏场景下对比学习效果不佳。
  2. HetCRF提出双通道自监督学习框架，通过两阶段聚合适应嵌入语义，增强编码器输出以构建视图，并设计正样本增强策略。
  3. 实验表明，HetCRF在异构图节点分类任务上优于现有方法，尤其在节点特征缺失情况下，性能提升显著。

📝 摘要（中文）

在图自监督学习中，掩码自编码器(MAE)和对比学习(CL)是两种重要的范式。MAE侧重于重构被掩盖的元素，而CL则最大化增强图视图之间的相似性。最近的研究强调了它们的互补性：MAE擅长局部特征捕获，而CL擅长全局信息提取。虽然已经提出了用于同构图的混合框架，但在设计共享编码器以满足两项任务的语义要求方面面临挑战。在语义稀疏场景中，CL在视图构建方面存在困难，并且正负样本之间的梯度不平衡仍然存在。本文提出了一种新颖的异构图双通道自监督学习框架HetCRF。HetCRF使用两阶段聚合策略来适应嵌入语义，使其与MAE和CL兼容。为了解决语义稀疏性，它增强了编码器输出以进行视图构建，而不是依赖原始特征，从而提高了效率。还提出了两种正样本增强策略来平衡梯度贡献。在四个真实世界的异构图数据集上的节点分类实验表明，HetCRF优于最先进的基线。在节点特征缺失的数据集上，例如Aminer和Freebase，在节点分类中以40%的标签率，HetCRF相比于第二好的基线，Macro-F1分数分别提高了2.75%和2.2%，验证了其有效性和优越性。

🔬 方法详解

问题定义：现有异构图自监督学习方法在结合掩码自编码器(MAE)和对比学习(CL)时，难以设计一个通用的编码器来同时满足两种学习范式的语义需求。此外，在语义稀疏的异构图中，对比学习难以构建有效的视图，导致学习效果不佳，并且正负样本的梯度贡献不平衡。

核心思路：HetCRF的核心思路是设计一个双通道的自监督学习框架，通过两阶段的聚合策略来适应异构图中不同节点和边的语义信息，使得编码器输出既能满足MAE的重构需求，又能支持CL的对比学习。同时，为了解决语义稀疏问题，HetCRF不是直接使用原始特征构建视图，而是利用编码器输出增强后的特征来构建视图，提高视图的质量和对比学习的效率。此外，还设计了两种正样本增强策略来平衡正负样本的梯度贡献。

技术框架：HetCRF框架包含两个主要通道：一个用于MAE，另一个用于CL。首先，输入异构图经过一个共享的图神经网络编码器，该编码器采用两阶段聚合策略，分别聚合节点自身的信息和邻居节点的信息。然后，MAE通道对部分节点特征进行掩码，并利用编码器输出重构这些被掩码的特征。CL通道则利用编码器输出构建不同的视图，并通过对比学习最大化正样本之间的相似性，最小化负样本之间的相似性。最后，将两个通道的损失函数加权求和，共同优化编码器。

关键创新：HetCRF的关键创新在于以下几点：(1) 提出了一个双通道的自监督学习框架，能够同时利用MAE和CL的优势。(2) 设计了两阶段聚合策略，能够更好地适应异构图的语义信息。(3) 提出了利用编码器输出增强特征来构建视图的方法，解决了语义稀疏问题。(4) 提出了两种正样本增强策略，平衡了正负样本的梯度贡献。与现有方法相比，HetCRF能够更有效地学习异构图的鲁棒表示。

关键设计：HetCRF的关键设计包括：(1) 两阶段聚合策略的具体实现，例如使用不同的聚合函数和权重。(2) 掩码策略的选择，例如随机掩码或基于节点重要性的掩码。(3) 视图构建方法的选择，例如节点属性扰动或子图采样。(4) 对比学习损失函数的选择，例如InfoNCE损失函数。(5) 正样本增强策略的具体实现，例如随机游走或邻居采样。(6) MAE和CL损失函数的权重设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HetCRF在四个真实世界的异构图数据集上，节点分类任务的性能优于最先进的基线方法。特别是在节点特征缺失的Aminer和Freebase数据集上，在40%标签率下，HetCRF的Macro-F1分数分别比第二好的基线提高了2.75%和2.2%，验证了其在语义稀疏场景下的有效性和优越性。

🎯 应用场景

HetCRF可应用于各种涉及异构图数据的场景，例如社交网络分析、知识图谱推理、生物信息学和推荐系统。通过学习鲁棒的异构图表示，可以提升节点分类、链接预测、图聚类等下游任务的性能，为相关领域的实际应用带来价值，并促进更深入的图数据挖掘和分析。

📄 摘要（原文）

In graph self-supervised learning, masked autoencoders (MAE) and contrastive learning (CL) are two prominent paradigms. MAE focuses on reconstructing masked elements, while CL maximizes similarity between augmented graph views. Recent studies highlight their complementarity: MAE excels at local feature capture, and CL at global information extraction. Hybrid frameworks for homogeneous graphs have been proposed, but face challenges in designing shared encoders to meet the semantic requirements of both tasks. In semantically sparse scenarios, CL struggles with view construction, and gradient imbalance between positive and negative samples persists. This paper introduces HetCRF, a novel dual-channel self-supervised learning framework for heterogeneous graphs. HetCRF uses a two-stage aggregation strategy to adapt embedding semantics, making it compatible with both MAE and CL. To address semantic sparsity, it enhances encoder output for view construction instead of relying on raw features, improving efficiency. Two positive sample augmentation strategies are also proposed to balance gradient contributions. Node classification experiments on four real-world heterogeneous graph datasets demonstrate that HetCRF outperforms state-of-the-art baselines. On datasets with missing node features, such as Aminer and Freebase, at a 40% label rate in node classification, HetCRF improves the Macro-F1 score by 2.75% and 2.2% respectively compared to the second-best baseline, validating its effectiveness and superiority.