Graph World Model

📄 arXiv: 2507.10539v1 📥 PDF

作者: Tao Feng, Yexin Wu, Guanyu Lin, Jiaxuan You

分类: cs.LG

发布日期: 2025-07-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出图世界模型GWM，统一处理非结构化和图结构数据，支持多模态任务。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 世界模型 多模态学习 图结构数据 消息传递 零样本学习 少样本学习 动作节点

📋 核心要点

  1. 现有世界模型主要处理非结构化数据，忽略了广泛存在的图结构数据，限制了其应用范围。
  2. GWM通过通用消息传递算法聚合结构化信息，并引入动作节点来支持多样化的任务。
  3. 实验表明，GWM在多个任务上优于或匹配特定领域基线，并展现出强大的零样本/少样本学习能力。

📝 摘要（中文）

世界模型(WMs)在预测、生成和规划任务中表现出强大的能力。现有的WMs主要关注非结构化数据，无法利用数字世界中普遍存在的、通常表示为图的结构化数据。虽然已经提出了多种图基础模型，但它们侧重于图学习任务，无法扩展到多样化的多模态数据和跨学科任务。为了应对这些挑战，我们提出了图世界模型(GWM)，该模型支持具有多模态信息的非结构化和图结构化状态，并将各种任务表示为动作。GWM的核心是一种通用的消息传递算法，用于聚合结构化信息，可以通过将多模态数据转换为文本(GWM-T)来统一多模态token空间，也可以通过模态特定的编码器来统一多模态嵌入空间(GWM-E)。值得注意的是，GWM引入了动作节点来支持各种任务，其中动作节点通过直接引用或相似性计算与其他节点链接。在来自不同领域的六个任务（包括多模态生成和匹配、推荐、图预测、多智能体、检索增强生成以及规划和优化）上的大量实验表明，相同的GWM优于或匹配特定领域基线的性能，受益于多跳结构，并在未见过的新的任务上表现出强大的零样本/少样本能力。GWM的代码已在https://github.com/ulab-uiuc/GWM上发布。

🔬 方法详解

问题定义：现有世界模型无法有效处理图结构数据，而图结构数据在现实世界中普遍存在。现有的图基础模型专注于图学习任务，缺乏对多模态数据和跨领域任务的泛化能力。因此，需要一种能够同时处理非结构化和图结构化数据，并支持多模态信息和多样化任务的世界模型。

核心思路：GWM的核心思路是将非结构化和图结构化数据统一到一个世界模型中，并通过通用的消息传递机制来聚合图结构信息。通过引入动作节点，GWM能够将各种任务表示为对图结构的操作，从而实现对不同任务的统一建模。

技术框架：GWM的整体框架包括以下几个主要模块：1) 多模态数据编码器：用于将不同模态的数据（例如文本、图像、音频）编码为统一的嵌入表示。2) 图构建模块：用于将输入数据构建成图结构，其中节点表示实体或概念，边表示实体之间的关系。3) 消息传递模块：用于在图结构上进行消息传递，聚合节点及其邻居的信息。4) 动作节点：用于表示不同的任务，并通过与图中其他节点的连接来指定任务的具体操作。5) 解码器：用于将图结构解码为最终的输出结果。

关键创新：GWM的关键创新在于其能够统一处理非结构化和图结构化数据，并支持多模态信息和多样化任务。通过引入动作节点，GWM能够将各种任务表示为对图结构的操作，从而实现对不同任务的统一建模。此外，GWM还采用了通用的消息传递机制，能够有效地聚合图结构信息。

关键设计：GWM的关键设计包括：1) 两种消息传递方式：GWM-T将多模态数据转换为文本，在统一的token空间进行消息传递；GWM-E使用模态特定的编码器，在统一的嵌入空间进行消息传递。2) 动作节点的连接方式：动作节点可以通过直接引用或相似性计算与其他节点连接，从而指定任务的具体操作。3) 损失函数：GWM使用多种损失函数来训练模型，包括预测损失、生成损失和对比学习损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GWM在六个不同领域的任务上均取得了优异的性能，优于或匹配了特定领域基线的性能。例如，在多模态生成任务中，GWM能够生成高质量的图像和文本描述。在推荐任务中，GWM能够准确地预测用户的偏好。此外，GWM还展现出强大的零样本/少样本学习能力，能够在未见过的新的任务上快速适应。

🎯 应用场景

GWM具有广泛的应用前景，包括多模态内容生成、推荐系统、图预测、多智能体协作、检索增强生成以及规划和优化等领域。它可以应用于智能客服、内容创作、科学研究、工业设计等多个行业，提升效率和智能化水平。未来，GWM有望成为构建通用人工智能的重要基石。

📄 摘要（原文）

World models (WMs) demonstrate strong capabilities in prediction, generation, and planning tasks. Existing WMs primarily focus on unstructured data and cannot leverage the ubiquitous structured data, often represented as graphs, in the digital world. While multiple graph foundation models have been proposed, they focus on graph learning tasks and cannot extend to diverse multi-modal data and interdisciplinary tasks. To address these challenges, we propose the Graph World Model (GWM), a world model that supports both unstructured and graph-structured states with multi-modal information and represents diverse tasks as actions. The core of a GWM is a generic message-passing algorithm to aggregate structured information, either over a unified multi-modal token space by converting multi-modal data into text (GWM-T) or a unified multi-modal embedding space by modality-specific encoders (GWM-E). Notably, GWM introduces action nodes to support diverse tasks, where action nodes are linked to other nodes via direct reference or similarity computation. Extensive experiments on six tasks from diverse domains, including multi-modal generation and matching, recommendation, graph prediction, multi-agent, retrieval-augmented generation, and planning and optimization, show that the same GWM outperforms or matches domain-specific baselines' performance, benefits from multi-hop structures, and demonstrates strong zero-shot/few-shot capabilities on unseen new tasks. Our code for GWM is released at https://github.com/ulab-uiuc/GWM.