Invariant Link Selector for Spatial-Temporal Out-of-Distribution Problem

📄 arXiv: 2505.24178v1 📥 PDF

作者: Katherine Tieu, Dongqi Fu, Jun Wu, Jingrui He

分类: cs.LG, cs.AI

发布日期: 2025-05-30

备注: Accepted by AISTATS 2025. 22 pages, 2 figures, 6 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种不变链接选择器，解决时序图上的空间-时间分布外泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序图 分布外泛化 信息瓶颈 不变学习 链接预测

📋 核心要点

  1. 现有方法在时序图上的分布外泛化能力不足，难以应对训练和测试环境差异。
  2. 利用信息瓶颈方法，区分时序图中不变和变异成分，选择不变链接进行学习。
  3. 实验表明，该方法在引文推荐和商品推荐等任务上优于现有最优方法。

📝 摘要（中文）

在基础模型时代，训练环境和测试环境之间的数据差异（即分布外问题，OOD）阻碍了人工智能的泛化能力。此外，像图这样的关系数据不满足独立同分布（IID）条件，使得问题更具挑战性，特别是当它与时间相关联时。受此启发，为了实现时序图上的鲁棒不变学习，我们研究了时序图中哪些成分在标签方面最不变且最具代表性。借助信息瓶颈（IB）方法，我们提出了一种有误差界限的不变链接选择器，该选择器可以在训练过程中区分不变成分和变异成分，从而使深度学习模型能够泛化到不同的测试场景。除了推导出一系列严格的通用优化函数外，我们还为训练配备了特定于任务的损失函数，例如时序链接预测，使预训练模型能够解决实际应用任务，如引文推荐和商品推荐，这在我们的实验中得到了证明，并与最先进（SOTA）方法进行了比较。我们的代码可在https://github.com/kthrn22/OOD-Linker上找到。

🔬 方法详解

问题定义：论文旨在解决时序图上的空间-时间分布外（OOD）泛化问题。现有方法在训练环境和测试环境存在差异时，模型性能显著下降。特别是在时序图这种非独立同分布的数据上，如何学习到具有鲁棒性的不变特征，是现有方法的痛点。

核心思路：论文的核心思路是利用信息瓶颈（Information Bottleneck, IB）方法，从时序图中选择对标签预测具有不变性的链接。通过区分不变成分和变异成分，模型可以专注于学习那些在不同环境下都稳定的关系模式，从而提高泛化能力。

技术框架：整体框架包含以下几个主要阶段：1) 时序图数据输入；2) 不变链接选择器，基于信息瓶颈原理，选择不变链接；3) 图神经网络（GNN）编码器，对选择后的链接进行编码；4) 任务特定损失函数，例如时序链接预测，用于优化模型；5) 模型评估，在不同的测试环境下评估模型的泛化能力。

关键创新：最重要的技术创新点在于提出了一个误差有界的“不变链接选择器”。该选择器能够根据信息瓶颈原理，在训练过程中自动区分并选择对标签预测具有不变性的链接。与现有方法相比，该方法能够更有效地提取时序图中的不变特征，从而提高模型的泛化能力。

关键设计：关键设计包括：1) 基于信息瓶颈的损失函数，用于约束链接选择器，使其选择的信息量尽可能少，但又能最大程度地保留与标签相关的信息；2) 任务特定的损失函数，例如时序链接预测损失，用于指导模型学习特定任务的知识；3) 误差界限的引入，保证了选择器在选择不变链接时的精度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在引文推荐和商品推荐任务上均取得了显著的性能提升，超越了现有最优方法（SOTA）。具体而言，在分布外测试集上，该方法在链接预测的准确率和召回率等指标上均有明显提升，验证了其在时序图上的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于多种时序图相关的任务，例如引文推荐、商品推荐、社交网络分析、金融风险预测等。通过提高模型在不同环境下的泛化能力，可以更准确地预测未来的链接关系，为用户提供更个性化的服务，并降低风险。

📄 摘要（原文）

In the era of foundation models, Out-of- Distribution (OOD) problems, i.e., the data discrepancy between the training environments and testing environments, hinder AI generalization. Further, relational data like graphs disobeying the Independent and Identically Distributed (IID) condition makes the problem more challenging, especially much harder when it is associated with time. Motivated by this, to realize the robust invariant learning over temporal graphs, we want to investigate what components in temporal graphs are most invariant and representative with respect to labels. With the Information Bottleneck (IB) method, we propose an error-bounded Invariant Link Selector that can distinguish invariant components and variant components during the training process to make the deep learning model generalizable for different testing scenarios. Besides deriving a series of rigorous generalizable optimization functions, we also equip the training with task-specific loss functions, e.g., temporal link prediction, to make pretrained models solve real-world application tasks like citation recommendation and merchandise recommendation, as demonstrated in our experiments with state-of-the-art (SOTA) methods. Our code is available at https://github.com/kthrn22/OOD-Linker.