Toward Effective Digraph Representation Learning: A Magnetic Adaptive Propagation based Approach
作者: Xunkai Li, Daohan Su, Zhengyu Wu, Guang Zeng, Hongchao Qin, Rong-Hua Li, Guoren Wang
分类: cs.LG, cs.AI, cs.DB, cs.SI
发布日期: 2025-01-21
备注: Accepted by WWW 2025
💡 一句话要点
提出磁适应传播方法，有效提升有向图表示学习性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 有向图表示学习 图神经网络 磁拉普拉斯算子 自适应传播 复数域消息传递
📋 核心要点
- 现有MagDG方法依赖手工设计的q参数，且对所有节点采用相同的传播和聚合规则，忽略了节点独特的有向图上下文。
- 提出磁适应传播(MAP)和MAP++框架，分别通过优化传播策略和引入可学习机制，实现自适应的边级传播和节点级聚合。
- 实验结果表明，MAP可灵活集成到现有MagDG中并处理大规模有向图，MAP++在多个下游任务上取得SOTA性能。
📝 摘要（中文）
本文以$q$-参数化的磁拉普拉斯算子为基础，构建有向图卷积，使得有向图神经网络(MagDG)能够通过复数域消息传递来编码节点特征和结构信息。作为无向图方法的推广，MagDG在建模复杂的网络级拓扑结构方面表现出卓越的能力。尽管现有的MagDG取得了显著成功，但仍然存在局限性：一是手工设计的$q$参数依赖于下游任务，限制了模型的灵活性并增加了人工成本；二是多数方法采用相同的复数域传播和聚合规则处理所有节点，忽略了它们独特的有向图上下文，导致性能欠佳。为了解决这些问题，本文提出了两种关键技术：MAP是一种即插即用的复数域传播优化策略，可以无缝集成到任何MagDG中，以提高预测性能并保持高运行效率。MAP++是一种新的有向图学习框架，进一步结合了可学习机制，以实现自适应的边级传播和节点级聚合，从而获得更好的性能。在12个数据集上的大量实验表明，MAP具有灵活性，可以与任何MagDG结合使用，并且具有可扩展性，可以处理网络级有向图。MAP++在4个不同的下游任务上实现了SOTA预测性能。
🔬 方法详解
问题定义：现有有向图神经网络(MagDG)依赖于手工设计的参数q，这限制了模型的灵活性，并且需要大量的人工调参。此外，现有的方法通常对所有节点使用相同的消息传递规则，忽略了每个节点在有向图中的不同上下文信息，导致模型性能受限。
核心思路：本文的核心思路是自适应地学习消息传递过程中的参数，从而避免手工调参，并根据节点和边的不同上下文信息进行差异化的消息传递。具体来说，MAP通过优化传播策略来提升性能，而MAP++则引入可学习机制来实现自适应的边级传播和节点级聚合。
技术框架：MAP是一个即插即用的优化策略，可以嵌入到任何现有的MagDG模型中，优化复数域的传播过程。MAP++则是一个完整的框架，它包含一个可学习的边级传播模块和一个可学习的节点级聚合模块。边级传播模块根据边的上下文信息自适应地调整传播权重，节点级聚合模块根据节点的上下文信息自适应地聚合来自不同邻居节点的信息。
关键创新：本文的关键创新在于提出了自适应的消息传递机制，能够根据节点和边的上下文信息动态地调整消息传递过程。这与传统的MagDG方法中静态的消息传递规则形成了鲜明对比，使得模型能够更好地捕捉有向图中的复杂关系。
关键设计：MAP的关键设计在于其优化传播策略，具体细节未知。MAP++的关键设计包括：1)可学习的边级传播模块，该模块使用一个神经网络来预测每条边的传播权重，输入是边的特征向量；2)可学习的节点级聚合模块，该模块使用一个神经网络来聚合来自不同邻居节点的信息，输入是邻居节点的特征向量和传播权重；3)损失函数，用于训练边级传播模块和节点级聚合模块，具体形式未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MAP可以灵活地集成到现有的MagDG模型中，并且具有良好的可扩展性，可以处理大规模的有向图。MAP++在四个不同的下游任务上取得了SOTA的预测性能，证明了其有效性。具体的性能提升数据未知。
🎯 应用场景
该研究成果可广泛应用于社交网络分析、知识图谱推理、推荐系统、网络安全等领域。通过更有效地学习有向图的表示，可以提升节点分类、链接预测、图分类等任务的性能，从而为相关应用带来实际价值。未来，该方法有望进一步扩展到更复杂的图结构和更大规模的数据集。
📄 摘要（原文）
The $q$-parameterized magnetic Laplacian serves as the foundation of directed graph (digraph) convolution, enabling this kind of digraph neural network (MagDG) to encode node features and structural insights by complex-domain message passing. As a generalization of undirected methods, MagDG shows superior capability in modeling intricate web-scale topology. Despite the great success achieved by existing MagDGs, limitations still exist: (1) Hand-crafted $q$: The performance of MagDGs depends on selecting an appropriate $q$-parameter to construct suitable graph propagation equations in the complex domain. This parameter tuning, driven by downstream tasks, limits model flexibility and significantly increases manual effort. (2) Coarse Message Passing: Most approaches treat all nodes with the same complex-domain propagation and aggregation rules, neglecting their unique digraph contexts. This oversight results in sub-optimal performance. To address the above issues, we propose two key techniques: (1) MAP is crafted to be a plug-and-play complex-domain propagation optimization strategy in the context of digraph learning, enabling seamless integration into any MagDG to improve predictions while enjoying high running efficiency. (2) MAP++ is a new digraph learning framework, further incorporating a learnable mechanism to achieve adaptively edge-wise propagation and node-wise aggregation in the complex domain for better performance. Extensive experiments on 12 datasets demonstrate that MAP enjoys flexibility for it can be incorporated with any MagDG, and scalability as it can deal with web-scale digraphs. MAP++ achieves SOTA predictive performance on 4 different downstream tasks.