Path to Prior-Data Fitted Relational Models via Learned Latent Multi-table Representations
作者: Mohammad Sadeq Abolhasani, Viswanath Ganapathy
分类: cs.LG, cs.AI
发布日期: 2026-10-16
备注: Presented at the Fifth Learning on Graphs Conference (LoG 2026), Boston, MA, USA, November 20-22, 2026
💡 一句话要点
提出图基关系模型的合成预训练方法以提升泛化能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图基模型 关系学习 合成预训练 课程学习 泛化能力
📋 核心要点
- 现有的图基关系模型在未见数据集上的泛化能力较弱，尤其是在缺乏有效的预训练策略时。
- 本文提出在合成关系数据库上进行预训练，并利用课程学习来提升消息传递表示的效果，避免了对下游任务的微调。
- 在16个真实世界的关系分类任务中，采用合成课程学习的模型表现优异，超越了多种基线方法，显示出合成预训练的有效性。
📝 摘要（中文）
本文探讨了先前数据拟合网络（PFNs）在图基关系模型中的应用，展示了通过在大型合成关系数据库上进行预训练，能够在未见数据集上实现良好的泛化能力。研究表明，课程学习不仅对基于变换器的关系学习者有效，对消息传递的图基模型同样有益。通过将预训练的编码器作为通用关系表示学习器，本文在16个真实世界的关系分类任务中取得了显著的性能提升，超越了传统的真实数据预训练方法。
🔬 方法详解
问题定义：本文旨在解决图基关系模型在未见数据集上的泛化能力不足的问题。现有方法主要集中在基于变换器的模型，缺乏对图基模型的有效预训练策略。
核心思路：通过在大型合成关系数据库上进行预训练，结合课程学习的策略，提升图基模型的表示能力，而不是在下游任务上进行微调。
技术框架：整体架构包括预训练阶段和推理阶段。预训练阶段使用合成数据进行模型训练，推理阶段则利用冻结的上下文预测器进行任务执行。
关键创新：本文的主要创新在于将PFN风格的合成预训练方法应用于图基关系模型，展示了其在消息传递框架下的有效性，与传统的真实数据预训练方法形成鲜明对比。
关键设计：在预训练过程中，采用了以模式引导的数据开始，随后使用无模式数据的合成课程，确保模型在多样化数据上进行训练，优化了模型的泛化能力。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用合成课程学习的模型在16个真实世界的关系分类任务中表现优异，超越了原始特征和未训练编码器的基线，尤其是在合成数据预训练后，模型的性能提升显著，展示了合成预训练的有效性。
🎯 应用场景
该研究的潜在应用领域包括数据库管理、信息检索和智能推荐系统等。通过提升图基关系模型的泛化能力，可以在处理复杂关系数据时实现更高的准确性和效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Prior-data fitted networks (PFNs) show that pretraining on large populations of synthetic tasks can enable generalization to unseen datasets with little or no downstream fine-tuning. This paradigm is effective for transformer-based tabular and relational foundation models such as RDB-PFN, but remains largely unexplored for graph-based relational models built on message passing. We pretrain the graph-based relational foundation model Griffin on large collections of synthetic relational databases and ask whether curriculum learning, which benefits transformer-based relational learners, also improves message-passing representations. Rather than fine-tune on downstream tasks, we use the pretrained encoder as a general-purpose relational representation learner and pass its latent representations to a frozen in-context predictor (\ticl{}); no component is trained on the target task. On 16 real-world relational classification tasks, evaluated over five seeds against raw-feature and untrained-encoder baselines, a purely synthetic curriculum that begins with schema-guided data and continues with schema-agnostic data gives the strongest frozen in-context performance\rev{, outperforming real-data-only pretraining and every unordered single-stage mixture of the corpora; when appended after real-data pretraining, it yields the best encoders overall}. These results provide initial evidence that PFN-style synthetic pretraining transfers to graph-based relational foundation models.