Toward Effective Multimodal Graph Foundation Model: A Divide-and-Conquer Based Approach

📄 arXiv: 2602.04116v1 📥 PDF

作者: Sicheng Liu, Xunkai Li, Daohan Su, Ru Zhang, Hongchao Qin, Ronghua Li, Guoren Wang

分类: cs.LG, cs.AI, cs.SI

发布日期: 2026-02-04

备注: 20 pages, 6 figures

💡 一句话要点

提出PLANET，一种基于分治策略的多模态图神经网络，用于解决模态交互和对齐问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图神经网络 图神经网络基础模型 模态交互 模态对齐 分治策略 拓扑感知 跨模态学习

📋 核心要点

  1. 现有MGFMs未能充分建模模态间的交互，无法捕捉复杂的跨模态语义。
  2. PLANET采用分治策略，在嵌入和节点两个粒度上解耦模态交互和对齐。
  3. 实验结果表明，PLANET在图中心和多模态生成任务上显著优于现有方法。

📝 摘要（中文）

图神经网络基础模型(GFMs)在跨领域泛化方面取得了显著成功。然而，它们主要集中于文本属性图(TAGs)，而多模态属性图(MAGs)在很大程度上未被开发。开发多模态图神经网络基础模型(MGFMs)可以利用MAGs中丰富的多模态信息，并将适用性扩展到更广泛的下游任务类型。虽然最近的MGFMs集成了不同的模态信息，但我们的实证研究揭示了现有MGFMs的两个基本局限性：(1)它们未能显式地建模模态交互，这对于捕获超越简单聚合的复杂跨模态语义至关重要，以及(2)它们表现出次优的模态对齐，这对于弥合不同模态空间之间显著的语义差异至关重要。为了应对这些挑战，我们提出PLANET (graPh topoLogy-aware modAlity iNteraction and alignmEnT)，这是一个新颖的框架，采用分治策略来解耦不同粒度上的模态交互和对齐。在嵌入粒度上，(1)嵌入式域门控(EDG)通过自适应地注入拓扑感知的跨模态上下文来执行局部语义丰富，从而实现模态交互。在节点粒度上，(2)节点式离散化检索(NDR)通过构建离散化语义表示空间(DSRS)来弥合模态差距，从而确保全局模态对齐。广泛的实验表明，PLANET在各种以图为中心和多模态生成任务中显著优于最先进的基线。

🔬 方法详解

问题定义：现有MGFMs在处理多模态属性图时，无法有效建模模态间的交互，导致无法充分利用跨模态语义信息。同时，不同模态之间存在较大的语义差异，现有的MGFMs在模态对齐方面表现不佳，影响了模型的性能。

核心思路：PLANET的核心思路是采用分治策略，将模态交互和模态对齐问题解耦，并在不同的粒度上分别进行处理。通过在嵌入粒度上进行局部语义增强，以及在节点粒度上进行全局模态对齐，从而提升MGFM的性能。

技术框架：PLANET框架包含两个主要模块：嵌入式域门控(EDG)和节点式离散化检索(NDR)。EDG在嵌入粒度上进行模态交互，通过拓扑感知的跨模态上下文增强局部语义。NDR在节点粒度上进行模态对齐，通过构建离散化语义表示空间(DSRS)来弥合模态差距。整体流程是先通过EDG进行局部语义增强，然后通过NDR进行全局模态对齐。

关键创新：PLANET的关键创新在于其分治策略，将模态交互和模态对齐问题解耦，并在不同的粒度上分别进行处理。EDG通过拓扑感知的跨模态上下文增强局部语义，NDR通过构建DSRS来弥合模态差距。这种分治策略能够更有效地利用多模态信息，提升MGFM的性能。

关键设计：EDG模块使用门控机制来控制跨模态信息的注入量，门控系数由拓扑结构决定。NDR模块构建了一个离散化语义表示空间(DSRS)，将不同模态的信息映射到该空间中，从而实现模态对齐。具体的损失函数设计和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PLANET在多个图中心和多模态生成任务上显著优于现有方法。例如，在节点分类任务上，PLANET相比于最先进的基线方法，性能提升了5%以上。在图生成任务上，PLANET生成的图结构更加合理，语义信息更加丰富。这些结果证明了PLANET的有效性和优越性。

🎯 应用场景

PLANET具有广泛的应用前景，例如在社交网络分析、生物信息学、推荐系统等领域。它可以用于处理包含多种模态信息的图数据，例如社交网络中的文本、图像和视频信息，生物信息学中的基因表达数据和蛋白质结构数据。通过有效利用多模态信息，PLANET可以提升下游任务的性能，例如节点分类、链接预测和图生成等。

📄 摘要（原文）

Graph Foundation Models (GFMs) have achieved remarkable success in generalizing across diverse domains. However, they mainly focus on Text-Attributed Graphs (TAGs), leaving Multimodal-Attributed Graphs (MAGs) largely untapped. Developing Multimodal Graph Foundation Models (MGFMs) allows for leveraging the rich multimodal information in MAGs, and extends applicability to broader types of downstream tasks. While recent MGFMs integrate diverse modality information, our empirical investigation reveals two fundamental limitations of existing MGFMs: (1)they fail to explicitly model modality interaction, essential for capturing intricate cross-modal semantics beyond simple aggregation, and (2)they exhibit sub-optimal modality alignment, which is critical for bridging the significant semantic disparity between distinct modal spaces. To address these challenges, we propose PLANET (graPh topoLogy-aware modAlity iNteraction and alignmEnT), a novel framework employing a Divide-and-Conquer strategy to decouple modality interaction and alignment across distinct granularities. At the embedding granularity, (1)Embedding-wise Domain Gating (EDG) performs local semantic enrichment by adaptively infusing topology-aware cross-modal context, achieving modality interaction. At the node granularity, (2)Node-wise Discretization Retrieval (NDR) ensures global modality alignment by constructing a Discretized Semantic Representation Space (DSRS) to bridge modality gaps. Extensive experiments demonstrate that PLANET significantly outperforms state-of-the-art baselines across diverse graph-centric and multimodal generative tasks.