Relational Deep Learning: Graph Representation Learning on Relational Databases

📄 arXiv: 2312.04615v1 📥 PDF

作者: Matthias Fey, Weihua Hu, Kexin Huang, Jan Eric Lenssen, Rishabh Ranjan, Joshua Robinson, Rex Ying, Jiaxuan You, Jure Leskovec

分类: cs.LG, cs.DB

发布日期: 2023-12-07

备注: https://relbench.stanford.edu

💡 一句话要点

提出关系深度学习（RDL），直接在关系数据库上进行图表示学习，无需人工特征工程。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 关系数据库 图神经网络 表示学习 异构图 消息传递

📋 核心要点

  1. 现有机器学习方法无法直接处理由主外键关系连接的多个表，需要手动进行特征工程，耗时且易出错。
  2. RDL将关系数据库视为异构图，利用消息传递图神经网络自动学习跨表关系，提取有效表示。
  3. 通过RelBench基准数据集验证，RDL无需手动特征工程即可构建更准确的模型，并提升建模效率。

📝 摘要（中文）

本文提出了一种端到端的深度表示学习方法，称为关系深度学习（RDL），用于直接在跨多个表的关系数据库上进行学习。核心思想是将关系数据库视为一个时序异构图，其中每个表中的每一行都是一个节点，主外键关系定义了边。通过消息传递图神经网络自动学习整个图，提取利用所有输入数据的表示，无需任何手动特征工程。RDL能够构建更准确的模型，并且速度更快。为了促进该领域的研究，我们开发了RelBench，这是一组基准数据集和RDL的实现。数据涵盖了广泛的领域，从Stack Exchange上的讨论到Amazon产品目录上的书评。总的来说，我们定义了一个新的研究领域，它推广了图机器学习，并将其适用性扩展到广泛的AI用例。

🔬 方法详解

问题定义：论文旨在解决关系数据库上的机器学习问题。现有方法需要手动将多个表连接和聚合到一个训练表中，即特征工程，这非常耗时、容易出错，并且可能导致次优模型。核心痛点在于缺乏能够直接在多表关系数据上学习的机器学习方法。

核心思路：论文的核心思路是将关系数据库建模成一个时序异构图。数据库中的每个表中的每一行都对应图中的一个节点，表之间的主外键关系则对应图中的边。通过在这种图结构上应用图神经网络，模型可以自动学习跨表的关系，从而提取出有效的特征表示，而无需人工干预。

技术框架：RDL的整体框架包括以下几个主要步骤：1) 将关系数据库转换为异构图；2) 在该图上应用消息传递图神经网络（MPGNN）；3) 利用MPGNN学习到的节点表示进行下游任务（例如分类、回归等）。框架的关键在于如何有效地利用主外键关系构建图结构，以及如何设计MPGNN来捕获跨表关系。

关键创新：最重要的创新点在于提出了一个端到端的框架，可以直接在关系数据库上进行学习，而无需手动特征工程。这与传统方法需要人工进行数据连接和聚合形成了鲜明对比。RDL通过图神经网络自动学习跨表关系，从而能够更有效地利用数据，并减少了人工干预的需求。

关键设计：论文中可能涉及的关键设计包括：1) 如何选择合适的MPGNN架构（例如GCN、GAT等）来适应异构图结构；2) 如何设计消息传递函数，以便有效地聚合来自不同表的信息；3) 如何定义损失函数，以便优化模型学习到的表示。此外，可能还涉及到一些针对特定数据集的参数调整和优化。

📊 实验亮点

论文提出了RelBench基准数据集，并在该数据集上验证了RDL的有效性。实验结果表明，RDL在多个任务上都取得了显著的性能提升，超越了传统的基于手动特征工程的方法。具体的性能数据和对比基线需要在论文中查找，但总体而言，RDL展示了其在关系数据学习方面的强大潜力。

🎯 应用场景

RDL具有广泛的应用前景，例如金融风控、电商推荐、社交网络分析等。在这些领域，数据通常以关系数据库的形式存储。RDL可以帮助企业更高效地利用这些数据，构建更准确的预测模型，从而提升业务效率和决策质量。未来，RDL有望成为关系数据分析的重要工具。

📄 摘要（原文）

Much of the world's most valued data is stored in relational databases and data warehouses, where the data is organized into many tables connected by primary-foreign key relations. However, building machine learning models using this data is both challenging and time consuming. The core problem is that no machine learning method is capable of learning on multiple tables interconnected by primary-foreign key relations. Current methods can only learn from a single table, so the data must first be manually joined and aggregated into a single training table, the process known as feature engineering. Feature engineering is slow, error prone and leads to suboptimal models. Here we introduce an end-to-end deep representation learning approach to directly learn on data laid out across multiple tables. We name our approach Relational Deep Learning (RDL). The core idea is to view relational databases as a temporal, heterogeneous graph, with a node for each row in each table, and edges specified by primary-foreign key links. Message Passing Graph Neural Networks can then automatically learn across the graph to extract representations that leverage all input data, without any manual feature engineering. Relational Deep Learning leads to more accurate models that can be built much faster. To facilitate research in this area, we develop RelBench, a set of benchmark datasets and an implementation of Relational Deep Learning. The data covers a wide spectrum, from discussions on Stack Exchange to book reviews on the Amazon Product Catalog. Overall, we define a new research area that generalizes graph machine learning and broadens its applicability to a wide set of AI use cases.