Training Graph Foundation Models on The Web Graph

📄 arXiv: 2609.30894v1 📥 PDF

作者: Ryoma Sato

分类: cs.AI, cs.LG

发布日期: 2026-09-25

💡 一句话要点

提出Acacia模型以解决图基础模型的训练局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图基础模型 网络图 节点分类 链接预测 多任务学习 无监督学习 特征表示

📋 核心要点

  1. 现有图基础模型通常需要额外训练以适应新图或新标签，限制了其灵活性和应用范围。
  2. Acacia模型通过在网络图上训练，支持多种任务和特征维度，且无需额外训练，展现出更高的灵活性。
  3. 实验结果表明，Acacia在多个任务上表现优异，且无需依赖预训练的语言模型，显示出其独特的能力。

📝 摘要（中文）

我们介绍了Acacia，一个在网络图上训练的图基础模型。Acacia具有以下特点：(i) 支持任意特征维度和语义，无需额外训练；(ii) 支持多种任务，包括节点分类、链接预测、节点聚类和图生成，无需额外训练；(iii) 具备上下文学习能力；(iv) 不依赖于预训练的语言模型。与现有图基础模型相比，Acacia无需训练额外的分类头或特征投影器，且是从头开始使用Common Crawl网络图训练的，证明了图模型可以像语言模型一样从零开始获得突现能力。

🔬 方法详解

问题定义：论文旨在解决现有图基础模型在适应新任务和新数据时的局限性，尤其是需要额外训练的问题。

核心思路：Acacia模型通过在网络图上进行训练，支持多种任务和特征维度，避免了额外训练的需求，从而提升了模型的灵活性和适应性。

技术框架：Acacia的整体架构包括数据预处理、模型训练和任务执行三个主要模块。数据预处理阶段使用Common Crawl网络图，模型训练阶段采用无监督学习方法，任务执行阶段支持多种图相关任务。

关键创新：Acacia的主要创新在于其无需依赖预训练的语言模型，且能够在没有额外训练的情况下，支持多种任务和特征维度，这与现有方法形成了鲜明对比。

关键设计：在模型设计中，Acacia采用了灵活的特征表示方法，允许任意维度的输入，同时使用了高效的损失函数以优化多任务学习的性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Acacia在节点分类、链接预测等任务上均表现出色，性能超过了现有的图基础模型，且在多个基准数据集上实现了显著的提升，证明了其创新设计的有效性。

🎯 应用场景

Acacia模型的潜在应用领域包括社交网络分析、推荐系统、知识图谱构建等。其灵活性和多任务支持能力使其在处理复杂图数据时具有显著的实际价值，未来可能推动图模型在各类应用中的广泛使用。

📄 摘要（原文）

We introduce Acacia, a graph foundation model, trained on the web graph. Acacia (i) supports arbitrary feature dimensionalities and semantics without additional training, (ii) supports a wide range of tasks, including node classification, link prediction, node clustering, and graph generation, without additional training, (iii) has in-context learning capabilities, and (iv) does not rely on pretrained LLMs. In particular, existing graph foundation models often require training additional classification heads or feature projectors to accommodate new graphs or new labels, whereas Acacia does not. Moreover, existing graph foundation models often gain their capabilities by being stitched together with pretrained LLMs, whereas Acacia is trained from scratch using only the Common Crawl web graph. This is also an important result because it provides evidence that graph models can acquire emergent capabilities from scratch like LLMs.