Can Graph Foundation Models Generalize Over Architecture?
作者: Benjamin Gutteridge, Michael Bronstein, Xiaowen Dong
分类: cs.LG, cs.AI, cs.SI
发布日期: 2026-03-24
备注: 9 pages main text + 18 pages references and appendix (27 pages total), 5 figures. Accepted to GRaM Workshop @ ICLR 2026: Workshop on Geometry-grounded Representation Learning and Generative Modeling (to appear in PMLR)
💡 一句话要点
提出自适应图算子混合框架，提升图基础模型在异构架构任务上的泛化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图神经网络 图基础模型 零样本学习 架构自适应 图算子混合
📋 核心要点
- 现有图基础模型依赖固定架构，无法适应不同任务对GNN架构的需求，限制了泛化能力。
- 提出一种自适应框架，通过混合任务特定的线性图算子，在推理时动态调整GNN架构。
- 在合成和真实数据集上验证，表明该方法在异构架构任务上优于现有图基础模型，提升了鲁棒性。
📝 摘要（中文）
图基础模型(GFMs)因其图神经网络(GNN)架构在任意尺度、特征维度和领域的图上进行零样本泛化的潜力而备受关注。尽管现有工作已在各种真实基准上展示了这种能力，但这些任务存在一个关键的隐藏限制：它们只允许一小组有效的GNN架构。特别是，当前领域无关的GFM依赖于固定的架构骨干，隐含地假设单个消息传递机制足以应对所有任务。本文认为，架构自适应是真正GFM的必要条件。我们表明，现有方法对任务相关的架构属性不具有鲁棒性，并以范围作为最小且可测量的轴，使这种限制变得明确。通过理论分析和受控的合成实验，我们证明了固定骨干GFM在架构要求与训练时不同的任务上必然欠拟合。为了解决这个问题，我们引入了一个框架，该框架通过发现和混合特定于任务的线性图算子，在推理时调整有效的GNN架构，从而实现跨具有异构架构要求的任务的零样本泛化，而无需重新训练。我们在任意范围的合成任务和一套真实基准上验证了我们的方法，证明了相对于现有领域无关的GFM，性能和鲁棒性均有所提高。
🔬 方法详解
问题定义：现有图基础模型（GFMs）通常采用固定的GNN架构，在训练时学习到的消息传递模式难以适应具有不同架构要求的下游任务。例如，某些任务可能需要更长范围的消息传递，而另一些任务则需要更短范围的消息传递。这种固定架构的限制导致GFMs在异构架构任务上的泛化能力不足。现有方法未能充分考虑任务相关的架构属性，导致鲁棒性较差。
核心思路：本文的核心思路是在推理时自适应地调整GNN架构，以适应特定任务的需求。通过发现和混合任务特定的线性图算子，可以灵活地构建适合当前任务的GNN架构，从而提高泛化能力。这种方法避免了重新训练的需要，实现了真正的零样本泛化。
技术框架：该框架主要包含以下几个阶段：1) 图算子发现：针对特定任务，从预定义的图算子库中选择合适的算子。这些算子可以是不同范围的消息传递算子、图卷积算子等。2) 算子混合：将选择的图算子进行线性组合，得到一个任务特定的GNN架构。混合权重可以通过学习或启发式方法确定。3) 推理：使用混合后的GNN架构进行推理，得到最终的预测结果。
关键创新：最重要的技术创新点在于提出了一个自适应的GNN架构调整框架，该框架能够在推理时根据任务需求动态地调整GNN架构，从而克服了现有GFMs的固定架构限制。与现有方法相比，该方法不需要重新训练，并且能够更好地适应异构架构任务。
关键设计：关键设计包括：1) 图算子库：需要设计一个包含各种不同类型和范围的图算子库，以提供足够的灵活性。2) 算子选择策略：需要设计一种有效的算子选择策略，以选择最适合当前任务的算子。可以使用学习方法或启发式方法来实现。3) 混合权重确定：需要确定每个算子的混合权重，以平衡不同算子的贡献。可以使用学习方法或启发式方法来实现。损失函数的设计需要考虑任务的特点，例如，可以使用交叉熵损失函数进行分类任务，使用均方误差损失函数进行回归任务。
🖼️ 关键图片
📊 实验亮点
在合成数据集上，该方法在不同范围的任务上显著优于固定架构的GFMs，验证了其自适应架构的有效性。在真实数据集上，该方法在多个基准测试中取得了更好的性能，证明了其在实际应用中的潜力。实验结果表明，该方法能够有效地提高GFMs的泛化能力和鲁棒性。
🎯 应用场景
该研究成果可应用于各种需要处理图数据的领域，例如社交网络分析、生物信息学、化学信息学、推荐系统等。通过自适应地调整GNN架构，可以提高模型在不同任务上的性能和鲁棒性，从而更好地解决实际问题。该研究为构建更通用的图基础模型奠定了基础，具有重要的实际价值和未来影响。
📄 摘要（原文）
Graph foundation models (GFMs) have recently attracted interest due to the promise of graph neural network (GNN) architectures that generalize zero-shot across graphs of arbitrary scales, feature dimensions, and domains. While existing work has demonstrated this ability empirically across diverse real-world benchmarks, these tasks share a crucial hidden limitation: they admit a narrow set of effective GNN architectures. In particular, current domain-agnostic GFMs rely on fixed architectural backbones, implicitly assuming that a single message-passing regime suffices across tasks. In this paper, we argue that architecture adaptivity is a necessary requirement for true GFMs. We show that existing approaches are non-robust to task-dependent architectural attributes and, as a case study, use range as a minimal and measurable axis along which this limitation becomes explicit. With theoretical analysis and controlled synthetic experiments, we demonstrate that fixed-backbone GFMs provably under-reach on tasks whose architectural requirements differ from those seen at training time. To address this issue, we introduce a framework that adapts effective GNN architecture at inference time by discovering and mixing task-specific linear graph operators, enabling zero-shot generalization across tasks with heterogeneous architectural requirements, without retraining. We validate our approach on arbitrary-range synthetic tasks and a suite of real-world benchmarks, demonstrating improved performance and robustness over existing domain-agnostic GFMs.