Learning Posterior Predictive Distributions for Node Classification from Synthetic Graph Priors

📄 arXiv: 2604.19028v1 📥 PDF

作者: Jeongwhan Choi, Jongwoo Kim, Woosung Kang, Noseong Park

分类: cs.LG

发布日期: 2026-04-21

备注: Accepted to ICLR 2026. OpenReview: https://openreview.net/forum?id=FmxRzlu0rT

💡 一句话要点

NodePFN：通过合成图先验学习节点分类的后验预测分布，实现跨图泛化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 节点分类 泛化学习 合成图 后验预测分布

📋 核心要点

  1. 现有GNN方法在面对具有不同属性的图时，需要为每个新图单独训练，泛化能力受限。
  2. NodePFN通过在大量合成图上预训练，学习后验预测分布，从而实现对任意图的通用节点分类。
  3. 实验表明，NodePFN在23个基准测试中取得了71.27%的平均准确率，验证了其有效性。

📝 摘要（中文）

图机器学习中最具挑战性的问题之一是在具有不同属性的图上进行泛化。图神经网络(GNNs)面临一个根本的限制：它们需要为每个新图进行单独的训练，从而阻碍了跨不同图数据集的通用泛化。GNN面临的一个关键挑战在于它们依赖于每个单独图的标记训练数据，由于图的异质性——数据集之间同质性水平、社区结构和特征分布的差异，这一要求阻碍了通用节点分类的能力。受到大型语言模型(LLMs)通过对多样化数据集进行大规模预训练来实现上下文学习的成功的启发，我们引入了NodePFN。这种通用节点分类方法推广到任意图，而无需特定于图的训练。NodePFN仅通过在数千个从精心设计的先验生成的合成图上进行训练来学习后验预测分布(PPD)。我们的合成图生成通过使用具有可控同质性水平的随机网络和用于复杂特征-标签关系的结构因果模型来覆盖真实世界的图。我们开发了一种双分支架构，将上下文-查询注意力机制与局部消息传递相结合，以实现图感知的上下文学习。在23个基准上的广泛评估表明，单个预训练的NodePFN实现了71.27的平均准确率。这些结果验证了通用图学习模式可以有效地从合成先验中学习，从而为节点分类中的泛化建立了一种新的范例。

🔬 方法详解

问题定义：论文旨在解决图神经网络(GNNs)在不同图结构和属性上的泛化能力不足的问题。现有的GNN方法通常需要针对每个新的图数据集进行单独训练，无法实现跨图的通用节点分类。这种训练方式不仅耗时耗力，而且难以适应真实世界中复杂多变的图数据。

核心思路：NodePFN的核心思路是通过在大量合成图上进行预训练，学习通用的图学习模式。这些合成图通过精心设计的先验分布生成，覆盖了真实世界图的各种属性，例如不同的同质性水平和社区结构。通过学习这些合成图的后验预测分布(PPD)，NodePFN能够泛化到未见过的图结构上，实现无需特定图训练的节点分类。

技术框架：NodePFN采用双分支架构，包含上下文分支和查询分支。上下文分支负责处理输入的图结构和节点特征，并提取图的上下文信息。查询分支则根据上下文信息，预测目标节点的标签分布。两个分支之间通过上下文-查询注意力机制进行交互，从而实现图感知的上下文学习。此外，NodePFN还采用了局部消息传递机制，用于聚合节点周围的邻居信息。

关键创新：NodePFN的关键创新在于其利用合成图先验进行预训练，从而实现跨图的通用泛化。与传统的GNN方法不同，NodePFN不需要针对每个新的图数据集进行单独训练，而是可以通过一次预训练，即可应用于各种不同的图结构。这种方法借鉴了大型语言模型(LLMs)的上下文学习思想，将图学习问题转化为一个上下文学习问题。

关键设计：NodePFN的关键设计包括：1) 精心设计的合成图生成器，能够生成具有不同属性的图结构；2) 双分支架构，能够有效提取图的上下文信息并进行节点分类；3) 上下文-查询注意力机制，能够实现图感知的上下文学习；4) 局部消息传递机制，能够聚合节点周围的邻居信息。具体的损失函数和网络结构细节在论文中有详细描述，但摘要中未明确提及。

📊 实验亮点

NodePFN在23个基准测试中取得了显著的性能提升，平均准确率达到71.27%。这一结果表明，通过在合成图上进行预训练，可以有效地学习通用的图学习模式，从而实现跨图的泛化。与传统的GNN方法相比，NodePFN无需针对每个新的图数据集进行单独训练，大大降低了计算成本和人工标注的需求。

🎯 应用场景

NodePFN的潜在应用领域包括社交网络分析、生物信息学、推荐系统、知识图谱推理等。该方法可以应用于各种需要节点分类的场景，尤其是在缺乏大量标注数据或图结构变化频繁的情况下。NodePFN的实际价值在于降低了GNN的应用门槛，提高了其泛化能力，为图机器学习的发展开辟了新的方向。未来，NodePFN可以进一步扩展到其他图学习任务，例如图分类、链接预测等。

📄 摘要（原文）

One of the most challenging problems in graph machine learning is generalizing across graphs with diverse properties. Graph neural networks (GNNs) face a fundamental limitation: they require separate training for each new graph, preventing universal generalization across diverse graph datasets. A critical challenge facing GNNs lies in their reliance on labeled training data for each individual graph, a requirement that hinders the capacity for universal node classification due to the heterogeneity inherent in graphs -- differences in homophily levels, community structures, and feature distributions across datasets. Inspired by the success of large language models (LLMs) that achieve in-context learning through massive-scale pre-training on diverse datasets, we introduce NodePFN. This universal node classification method generalizes to arbitrary graphs without graph-specific training. NodePFN learns posterior predictive distributions (PPDs) by training only on thousands of synthetic graphs generated from carefully designed priors. Our synthetic graph generation covers real-world graphs through the use of random networks with controllable homophily levels and structural causal models for complex feature-label relationships. We develop a dual-branch architecture combining context-query attention mechanisms with local message passing to enable graph-aware in-context learning. Extensive evaluation on 23 benchmarks demonstrates that a single pre-trained NodePFN achieves 71.27 average accuracy. These results validate that universal graph learning patterns can be effectively learned from synthetic priors, establishing a new paradigm for generalization in node classification.