Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework

📄 arXiv: 2607.15687 📥 PDF

作者: Xunkai Li, Guohao Fu, Yuming Ai, Zhengyu Wu, Hongchao Qin, Rong-Hua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出FedGAMMA以解决多模态图的联邦学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图 联邦学习 图学习 隐私保护 模型迁移

📋 核心要点

  1. 现有方法仅覆盖多模态图学习或联邦学习的某一方面，无法有效解决数据隐私和模型迁移的问题。
  2. FedGAMMA通过共享-私有语义增强器和拓扑感知图融合模块，解决了多模态信息对齐和结构视图解耦的问题。
  3. 在多个下游任务中，FedGAMMA在多域数据集上表现优异，尤其在少样本学习场景下提升幅度达到5.71%。

📝 摘要（中文）

多模态属性图（MAGs）在社交平台、电商和生物医学网络等应用中广泛存在，提供比单一模态图更丰富的语义信号。然而，这些图通常分散在不同平台和机构的隐私限制下，学习可广泛迁移的模型需要协作训练而不暴露原始数据。为此，本文提出FedGAMMA，将联邦多模态图基础学习视为联邦预训练和基于提示的微调的两阶段语义-结构对齐问题。实验表明，FedGAMMA在十二个多模态图数据集上表现优异，超越多种基线，提升幅度高达12.96%。

🔬 方法详解

问题定义：本文旨在解决多模态属性图在隐私限制下的联邦学习问题。现有方法无法同时处理多模态信息和数据隐私，导致模型迁移能力不足。

核心思路：FedGAMMA通过两阶段的语义-结构对齐，首先进行联邦预训练，然后通过基于提示的微调，确保在不暴露原始数据的情况下实现有效学习。

技术框架：整体架构包括两个主要阶段：预训练和微调。在预训练阶段，使用共享-私有语义增强器和拓扑感知图融合模块进行信息对齐；在微调阶段，采用轻量级图感知提示和共享提示池进行模型适应。

关键创新：最重要的创新在于引入了共享-私有语义增强器和拓扑感知图融合模块，这些设计使得多模态信息的对齐和结构视图的解耦成为可能，显著提升了模型的性能。

关键设计：在模型设计中，采用了优化传输方法、双通道亲和力聚合机制和通道级提示同步等技术细节，确保了客户端相似度的估计和信息的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FedGAMMA在十二个多模态图数据集上表现优异，超越多种基线，性能提升幅度高达12.96%。在多域数据集的多个任务中，FedGAMMA在少样本学习场景下的提升幅度达到5.71%，显示出其强大的适应性和有效性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、电子商务推荐系统和生物医学数据挖掘等。通过实现多模态数据的有效学习，FedGAMMA能够帮助不同平台和机构在保护隐私的前提下，提升模型的泛化能力和应用价值，未来可能推动跨域数据协作的研究与应用。

📄 摘要（原文）

Multimodal-attributed graphs (MAGs), whose nodes carry modalities such as images and text alongside topological structure, now pervade applications including social platforms, e-commerce, and biomedical networks, offering richer semantic signals than single-modality graphs. In practice, such graphs are fragmented across privacy-restricted silos owned by different platforms and institutions, so learning a broadly transferable model over them demands collaborative training that never exposes raw data. This places the task at the intersection of multimodal graph learning and federated learning, yet existing methods cover only one side of it. To address the challenges from these two perspectives, we propose FedGAMMA, casting federated multimodal graph foundation learning as a two-stage semantic-structural alignment problem of federated pre-training and prompt-based fine-tuning. During pre-training, a shared-private semantic enhancer disentangles cross-modal commonality from modality-specific information, aligning it through optimal transport, a topology-aware graph fusion module decouples semantic and structural views via semantic residual graphs and dual positional encodings, and a dual-channel affinity-aware aggregation mechanism estimates client similarity from feature and graph centroids without exposing raw data. During fine-tuning, FedGAMMA adapts the pretrained encoder through lightweight graph-aware prompts, a shared prompt pool with controlled exploration, and channel-wise prompt synchronization. Experiments on twelve multimodal graph datasets show FedGAMMA consistently surpassing a broad range of baselines across downstream tasks, with gains of up to 12.96%. FedGAMMA further outperforms competitive baselines accross multi-domain datasets on multiple tasks with up to 5.71% under few-shot learning scenario.