Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach

📄 arXiv: 2601.21369v1 📥 PDF

作者: Yinlin Zhu, Di Wu, Xianzhi Zhang, Yuming Ai, Xunkai Li, Miao Hu, Guocong Quan

分类: cs.LG

发布日期: 2026-01-29

备注: Under Review. E-mail: zhuylin27@mail2.sysu.edu.cn

💡 一句话要点

提出FedGALA框架，通过图文对齐解决联邦图基础模型中的知识损失与异构问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 图神经网络 预训练语言模型 图文对齐 对比学习

📋 核心要点

  1. 现有联邦图基础模型在量化过程中存在不可逆的知识损失，限制了模型的性能。
  2. FedGALA框架通过无监督对比学习对齐GNN和PLM，在连续嵌入空间中捕获通用知识。
  3. FedGALA利用高效的prompt tuning机制，在避免全参数微调开销的同时，适应下游任务，性能提升显著。

📝 摘要（中文）

联邦图基础模型(FedGFMs)的研究打破了集中式数据存储的理想化假设，适应了分布式、隐私限制的数据孤岛的现实。现有方法通过向量量化骨干网络将对齐的通用知识投影到离散token空间，但量化过程存在不可逆的知识损失。本文认为，协调预训练语言模型(PLMs)和图神经网络(GNNs)之间的语义-结构正交性和完整性，对于开发有效的FedGFMs至关重要，同时缓解分布式、资源受限环境中固有的严重数据异构性和通信约束。为此，我们提出了FedGALA(Federated Graph And Language Alignment)框架，通过无监督对比学习在连续嵌入空间中对齐GNN和冻结的PLM，从而捕获鲁棒的、可迁移的通用知识，解决联邦设置中基于图的语义-结构正交性和完整性问题。FedGALA利用通信高效的prompt tuning机制来引导这些预对齐的编码器和冻结的PLM，促进有效适应各种下游任务，同时避免了全参数微调的过高开销。综合实验验证了FedGALA在多领域数据集上的多个任务中优于所有竞争基线，性能提升高达14.37%。

🔬 方法详解

问题定义：联邦图基础模型旨在解决分布式、隐私限制的数据孤岛上的图学习问题。现有方法主要依赖于向量量化，将图结构信息映射到离散的token空间，但这种量化过程会导致不可逆的知识损失，限制了模型的表达能力和泛化性能。此外，数据异构性和通信约束也是联邦学习中的重要挑战。

核心思路：FedGALA的核心思路是通过图文对齐的方式，将图结构信息和预训练语言模型的语义信息融合在一起，从而避免了离散化带来的知识损失。具体来说，FedGALA利用无监督对比学习，将图神经网络(GNN)的输出和预训练语言模型(PLM)的输出对齐到同一个连续的嵌入空间中，使得模型能够同时学习到图的结构信息和语义信息。

技术框架：FedGALA框架主要包含以下几个模块：1) 图神经网络(GNN)编码器：用于提取图的结构信息。2) 预训练语言模型(PLM)：用于提取文本的语义信息。3) 对比学习模块：用于将GNN和PLM的输出对齐到同一个嵌入空间中。4) Prompt Tuning模块：用于将预训练的GNN和PLM适应到下游任务中。整个流程是先通过对比学习进行预对齐，然后在联邦学习的框架下，利用prompt tuning进行微调。

关键创新：FedGALA的关键创新在于使用图文对齐的方式来融合图结构信息和语义信息，避免了离散化带来的知识损失。此外，FedGALA还采用了通信高效的prompt tuning机制，可以在保证模型性能的同时，降低通信开销。与现有方法相比，FedGALA能够更好地利用预训练语言模型的知识，并且能够更好地适应数据异构性和通信约束。

关键设计：在对比学习模块中，使用了InfoNCE损失函数来最大化正样本之间的相似度，最小化负样本之间的相似度。在Prompt Tuning模块中，使用了可学习的prompt tokens来引导预训练模型的输出，从而适应下游任务。GNN可以选择不同的架构，例如GCN、GAT等。PLM可以选择不同的模型，例如BERT、RoBERTa等。Prompt的长度和学习率是重要的超参数，需要根据具体的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedGALA在多个多领域数据集上的多个任务中，均优于所有竞争基线，性能提升高达14.37%。这证明了FedGALA在联邦图学习任务中的有效性和优越性。尤其是在数据异构性较强的场景下，FedGALA的性能提升更为显著。

🎯 应用场景

FedGALA可应用于多种需要处理图结构数据的联邦学习场景，例如联邦药物发现、联邦社交网络分析、联邦金融风控等。该研究有助于在保护用户隐私的前提下，利用分布式数据进行图学习，提升模型性能和泛化能力，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Recent studies of federated graph foundational models (FedGFMs) break the idealized and untenable assumption of having centralized data storage to train graph foundation models, and accommodate the reality of distributed, privacy-restricted data silos. Despite their simplicity and intuition, existing studies that project aligned generalizable knowledge onto a discrete token space via vector-quantized backbones suffer from irreversible knowledge loss during the quantization process. In this context, we argue that reconciling the semantic-structural orthogonality and integrity between pre-trained language models (PLMs) and graph neural networks (GNNs) is paramount for developing effective FedGFMs while simultaneously mitigating the severe data heterogeneity and communication constraints inherent in distributed, resource-limited environments. To address these issues, we propose FedGALA (Federated Graph And Language Alignment), a framework that resolves graph-based semantic-structural orthogonality and integrity in federated settings by employing unsupervised contrastive learning to align GNNs and frozen PLMs within a continuous embedding space, thereby capturing robust, transferable general knowledge. Subsequently, FedGALA leverages a communication-efficient prompt tuning mechanism to steer these pre-aligned encoders and frozen PLMs, facilitating effective adaptation to diverse downstream tasks while circumventing the prohibitive overhead of full-parameter fine-tuning. The comprehensive experiments validate that FedGALA outperforms all competitive baselines across multi-domain datasets on multiple tasks with up to 14.37% performance improvement.