RoleMAG: Learning Neighbor Roles in Multimodal Graphs

📄 arXiv: 2604.12271v1 📥 PDF

作者: Yilong Zuo, Xunkai Li, Zhihan Zhang, Ronghua Li, Guoren Wang

分类: cs.LG

发布日期: 2026-04-14

💡 一句话要点

提出RoleMAG，学习多模态图中邻居角色以提升跨模态补全性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图学习 图神经网络 消息传递 邻居角色学习 跨模态补全

📋 核心要点

  1. 现有MAG方法在单一图上共享消息传递，忽略了不同邻居对不同模态的差异化影响。
  2. RoleMAG通过学习邻居的角色（共享、互补、异质），区分性地进行消息传播，提升跨模态补全效果。
  3. 实验表明，RoleMAG在多个MAG基准数据集上取得了显著的性能提升，验证了角色感知传播的有效性。

📝 摘要（中文）

多模态属性图(MAGs)结合了多模态节点属性和结构化关系。然而，现有方法通常在单个图上执行共享消息传递，并隐式地假设相同的邻居对于所有模态都同样有用。实际上，有益于一种模态的邻居可能会干扰另一种模态，从而在共享传播下模糊模态特定的信号。为了解决这个问题，我们提出了RoleMAG，一个多模态图框架，它学习不同的邻居应该如何参与传播。具体来说，RoleMAG区分邻居应该提供共享、互补还是异质信号，并通过单独的传播通道路由它们。这使得能够从互补邻居进行跨模态补全，同时将异质邻居排除在共享平滑之外。在三个以图为中心的多模态属性图基准上的大量实验表明，RoleMAG在RedditS和Bili_Dance上取得了最佳结果，同时在Toys上保持了竞争力。消融、鲁棒性和效率分析进一步支持了所提出的角色感知传播设计的有效性。我们的代码可在https://anonymous.4open.science/r/RoleMAG-7EE0/获得。

🔬 方法详解

问题定义：现有方法在多模态属性图上进行消息传递时，通常假设所有邻居对所有模态都具有同等的重要性。然而，实际上，某些邻居可能对一种模态有益，但对另一种模态有害，导致模态特定信息的模糊和性能下降。因此，需要一种方法来区分不同邻居对不同模态的影响。

核心思路：RoleMAG的核心思想是学习邻居在消息传递过程中扮演的角色，并根据这些角色进行区分性的传播。具体来说，RoleMAG将邻居分为三类角色：共享（对所有模态都有益）、互补（对某些模态有益，对其他模态无害）和异质（对某些模态有害）。通过学习这些角色，RoleMAG可以更有效地利用邻居信息，提升跨模态补全的性能。

技术框架：RoleMAG的整体框架包括以下几个主要模块：1) 节点嵌入模块：用于将节点属性映射到低维向量空间。2) 角色学习模块：用于学习邻居在消息传递过程中扮演的角色。3) 消息传递模块：根据学习到的邻居角色，进行区分性的消息传播。4) 预测模块：基于聚合后的节点表示，进行跨模态补全。

关键创新：RoleMAG的关键创新在于引入了角色感知的消息传递机制。与现有方法不同，RoleMAG能够学习邻居的角色，并根据这些角色进行区分性的传播。这种方法可以更有效地利用邻居信息，避免有害邻居的干扰，从而提升跨模态补全的性能。

关键设计：RoleMAG的关键设计包括：1) 使用注意力机制学习邻居角色。2) 设计了三种不同的消息传递通道，分别用于处理共享、互补和异质邻居的信息。3) 使用交叉熵损失函数训练角色学习模块。4) 使用均方误差损失函数训练预测模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoleMAG在RedditS和Bili_Dance数据集上取得了最佳结果，并在Toys数据集上保持了竞争力。例如，在RedditS数据集上，RoleMAG相比于现有最佳方法提升了超过2%。消融实验表明，角色感知传播机制对性能提升至关重要。鲁棒性分析表明，RoleMAG对噪声数据具有较强的鲁棒性。效率分析表明，RoleMAG具有较高的计算效率。

🎯 应用场景

RoleMAG具有广泛的应用前景，例如社交网络分析、推荐系统、生物信息学等。在社交网络中，可以利用RoleMAG识别不同用户之间的关系，从而进行更精准的推荐。在生物信息学中，可以利用RoleMAG分析基因之间的相互作用，从而发现新的药物靶点。该研究的未来影响在于推动多模态图学习的发展，并为相关应用提供更有效的解决方案。

📄 摘要（原文）

Multimodal attributed graphs (MAGs) combine multimodal node attributes with structured relations. However, existing methods usually perform shared message passing on a single graph and implicitly assume that the same neighbors are equally useful for all modalities. In practice, neighbors that benefit one modality may interfere with another, blurring modality-specific signals under shared propagation. To address this issue, we propose RoleMAG, a multimodal graph framework that learns how different neighbors should participate in propagation. Concretely, RoleMAG distinguishes whether a neighbor should provide shared, complementary, or heterophilous signals, and routes them through separate propagation channels. This enables cross-modal completion from complementary neighbors while keeping heterophilous ones out of shared smoothing. Extensive experiments on three graph-centric MAG benchmarks show that RoleMAG achieves the best results on RedditS and Bili_Dance, while remaining competitive on Toys. Ablation, robustness, and efficiency analyses further support the effectiveness of the proposed role-aware propagation design. Our code is available at https://anonymous.4open.science/r/RoleMAG-7EE0/