Learning Multi-Modal Mobility Dynamics for Generalized Next Location Recommendation
作者: Junshu Dai, Yu Wang, Tongya Zheng, Wei Ji, Qinghong Guo, Ji Cao, Jie Song, Canghong Jin, Mingli Song
分类: cs.AI, cs.CV
发布日期: 2025-12-27
💡 一句话要点
提出M³ob模型，利用多模态时空知识增强下一位置推荐的泛化能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 位置推荐 多模态学习 时空知识图谱 大型语言模型 移动模式预测
📋 核心要点
- 现有位置推荐方法在泛化性上存在不足，单模态方法受数据稀疏性限制，多模态方法难以捕捉时空动态。
- 论文提出M³ob模型，利用LLM增强的时空知识图谱构建统一时空关系图，并设计门控机制和跨模态对齐。
- 实验结果表明，M³ob模型在正常和异常场景下均表现出显著的性能提升和泛化能力。
📝 摘要（中文）
精准的人类移动模式预测在位置推荐和疏散建议等领域具有重要的社会经济影响。然而，现有方法泛化能力有限：单模态方法受限于数据稀疏性和固有偏差，而多模态方法难以有效捕捉静态多模态表示与时空动态之间的语义鸿沟所导致的移动模式动态。因此，本文利用多模态时空知识来表征移动模式动态，用于位置推荐任务，并将其命名为多模态移动（M³ob）。首先，通过利用大型语言模型（LLM）增强的时空知识图谱（STKG）捕获的功能语义和时空知识，构建用于多模态表示的统一时空关系图（STRG）。其次，设计了一种门控机制来融合不同模态的时空图表示，并提出了一种STKG引导的跨模态对齐，将时空动态知识注入到静态图像模态中。在六个公共数据集上的大量实验表明，该方法不仅在正常场景下取得了持续的改进，而且在异常场景下也表现出显著的泛化能力。
🔬 方法详解
问题定义：现有位置推荐方法，特别是多模态方法，难以有效捕捉静态多模态表示与时空动态之间的语义鸿沟所导致的移动模式动态。单模态方法依赖的数据量大，容易出现数据稀疏性问题，且容易存在固有的偏差。多模态方法虽然可以融合多种信息，但如何有效地将静态的多模态信息与动态的时空信息结合起来是一个挑战。
核心思路：论文的核心思路是利用多模态的时空知识来表征移动模式的动态变化，从而提升位置推荐的泛化能力。具体来说，通过构建统一的时空关系图（STRG）来融合不同模态的信息，并利用大型语言模型（LLM）增强的时空知识图谱（STKG）来指导跨模态的对齐，从而将时空动态知识注入到静态的图像模态中。这样设计的目的是为了弥补静态多模态表示与动态时空信息之间的差距，从而更准确地预测用户的下一个位置。
技术框架：M³ob模型的整体框架主要包含以下几个模块： 1. 多模态数据输入：包括用户的历史轨迹数据、位置的功能语义信息（例如，餐馆、商店等）以及位置的图像信息。 2. LLM增强的STKG构建：利用大型语言模型对位置的功能语义信息进行增强，构建一个包含丰富时空知识的时空知识图谱。 3. 统一STRG构建：基于STKG，构建一个统一的时空关系图，用于表示不同模态之间的关系。 4. 门控机制的图表示融合：设计一个门控机制，用于融合不同模态的时空图表示。 5. STKG引导的跨模态对齐：利用STKG指导跨模态的对齐，将时空动态知识注入到静态图像模态中。 6. 位置推荐：基于融合后的多模态表示，预测用户的下一个位置。
关键创新：该论文的关键创新在于以下几个方面： 1. 提出了一个统一的时空关系图（STRG），用于融合不同模态的信息。 2. 利用大型语言模型（LLM）增强了时空知识图谱（STKG），从而可以更好地捕获位置的功能语义和时空关系。 3. 设计了一个STKG引导的跨模态对齐方法，可以将时空动态知识注入到静态图像模态中。
关键设计： 1. 门控机制：使用门控机制来动态地调整不同模态信息的权重，从而更好地融合不同模态的表示。 2. STKG引导的跨模态对齐：使用STKG中的时空关系来指导图像模态的特征学习，从而将时空动态知识注入到图像模态中。 3. 损失函数：使用了交叉熵损失函数来优化位置推荐模型，并使用了正则化项来防止过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，M³ob模型在六个公共数据集上均取得了显著的性能提升。在正常场景下，M³ob模型相比于现有方法取得了持续的改进。更重要的是，在异常场景下，M³ob模型表现出了显著的泛化能力，证明了其能够有效地捕捉移动模式的动态变化。具体的性能数据在论文中进行了详细的展示。
🎯 应用场景
该研究成果可广泛应用于各种基于位置的服务，例如个性化位置推荐、智能交通管理、城市规划和应急响应。通过更准确地预测用户移动模式，可以提升用户体验，优化资源分配，并为社会安全提供保障。未来，该方法可以扩展到其他时空预测任务，例如交通流量预测和天气预报。
📄 摘要（原文）
The precise prediction of human mobility has produced significant socioeconomic impacts, such as location recommendations and evacuation suggestions. However, existing methods suffer from limited generalization capability: unimodal approaches are constrained by data sparsity and inherent biases, while multi-modal methods struggle to effectively capture mobility dynamics caused by the semantic gap between static multi-modal representation and spatial-temporal dynamics. Therefore, we leverage multi-modal spatial-temporal knowledge to characterize mobility dynamics for the location recommendation task, dubbed as \textbf{M}ulti-\textbf{M}odal \textbf{Mob}ility (\textbf{M}$^3$\textbf{ob}). First, we construct a unified spatial-temporal relational graph (STRG) for multi-modal representation, by leveraging the functional semantics and spatial-temporal knowledge captured by the large language models (LLMs)-enhanced spatial-temporal knowledge graph (STKG). Second, we design a gating mechanism to fuse spatial-temporal graph representations of different modalities, and propose an STKG-guided cross-modal alignment to inject spatial-temporal dynamic knowledge into the static image modality. Extensive experiments on six public datasets show that our proposed method not only achieves consistent improvements in normal scenarios but also exhibits significant generalization ability in abnormal scenarios.