DIB-OD: Preserving the Invariant Core for Robust Heterogeneous Graph Adaptation via Decoupled Information Bottleneck and Online Distillation

📄 arXiv: 2604.10882v1 📥 PDF

作者: Yang Yan, Qiuyan Wang, Tianjin Huang, Qiudong Yu, Kexin Zhang

分类: cs.LG, cs.AI

发布日期: 2026-04-13

💡 一句话要点

DIB-OD：通过解耦信息瓶颈和在线蒸馏实现异构图鲁棒自适应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构图 领域自适应 信息瓶颈 在线蒸馏 图神经网络 不变表示 迁移学习

📋 核心要点

  1. 图神经网络预训练在利用无标签图数据方面至关重要，但跨异构域泛化因分布偏移而面临挑战。
  2. DIB-OD通过解耦信息瓶颈和在线蒸馏，将表示分解为不变和冗余子空间，从而保留领域不变的核心知识。
  3. 实验表明，DIB-OD在跨领域图数据集中优于现有方法，尤其在泛化性和抗遗忘性方面表现突出。

📝 摘要（中文）

本文提出DIB-OD框架，旨在通过解耦信息瓶颈和在线蒸馏，为鲁棒的异构图自适应保留不变核心。该方法将表示显式分解为正交的不变子空间和冗余子空间。利用信息瓶颈的师生蒸馏机制和Hilbert-Schmidt独立性准则，隔离出一个超越领域边界的稳定不变核心。此外，引入自适应语义正则化器，通过基于预测置信度动态门控标签影响，防止该核心在目标域适应期间被破坏。在化学、生物和社会网络领域的大量实验表明，DIB-OD显著优于现有方法，尤其是在具有挑战性的跨类型领域迁移中，展示了卓越的泛化和抗遗忘性能。

🔬 方法详解

问题定义：现有图神经网络预训练方法主要关注领域内模式，未能将任务相关的领域不变知识与领域特定的冗余噪声分离，导致负迁移和灾难性遗忘。因此，如何在异构图数据上学习到领域不变的知识表示，是本文要解决的核心问题。现有方法的痛点在于无法有效区分和利用领域不变特征，导致模型在新的领域表现不佳。

核心思路：本文的核心思路是将图数据的表示解耦为两个正交的子空间：领域不变子空间和领域特定冗余子空间。通过信息瓶颈原则，尽可能保留与任务相关的信息，同时去除冗余信息。利用师生模型和在线蒸馏，将不变知识从教师模型迁移到学生模型，从而提高模型的泛化能力。通过自适应语义正则化器，防止在目标域适应过程中不变核心被破坏。

技术框架：DIB-OD框架主要包含以下几个模块：1) 特征解耦模块，将图数据的表示分解为不变子空间和冗余子空间；2) 信息瓶颈模块，通过最小化互信息来提取不变特征；3) 师生蒸馏模块，利用教师模型指导学生模型学习不变知识；4) 自适应语义正则化模块，防止在目标域适应过程中不变核心被破坏。整体流程是先在源域上进行预训练，然后通过在线蒸馏和自适应正则化在目标域上进行微调。

关键创新：本文最重要的技术创新点在于显式地将图数据的表示解耦为不变子空间和冗余子空间，并利用信息瓶颈原则和师生蒸馏机制来提取和迁移不变知识。与现有方法相比，DIB-OD能够更有效地分离领域不变特征和领域特定特征，从而提高模型的泛化能力和鲁棒性。自适应语义正则化器也是一个创新点，它能够根据预测置信度动态调整标签的影响，防止不变核心被破坏。

关键设计：在特征解耦模块中，使用了Hilbert-Schmidt Independence Criterion (HSIC)来保证不变子空间和冗余子空间的正交性。在信息瓶颈模块中，使用了变分信息瓶颈（VIB）来近似互信息。在师生蒸馏模块中，使用了KL散度作为蒸馏损失函数。自适应语义正则化器通过一个sigmoid函数来计算标签的影响权重，该权重取决于模型的预测置信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIB-OD在多个异构图数据集上显著优于现有方法。例如，在跨化学数据库的分子性质预测任务中，DIB-OD的性能提升了5%以上。在跨社交平台的行为预测任务中，DIB-OD的抗遗忘能力也得到了显著提升。这些结果表明，DIB-OD能够有效地提取和迁移领域不变知识，提高模型的泛化能力和鲁棒性。

🎯 应用场景

DIB-OD框架可应用于各种异构图数据的迁移学习任务，例如跨物种的药物发现、跨社交平台的行为预测、以及跨化学数据库的性质预测。该方法能够提高模型在新的领域或数据集上的泛化能力，减少对目标域标注数据的依赖，具有重要的实际应用价值和潜力。未来可进一步扩展到更复杂的图结构和更广泛的应用场景。

📄 摘要（原文）

Graph Neural Network pretraining is pivotal for leveraging unlabeled graph data. However, generalizing across heterogeneous domains remains a major challenge due to severe distribution shifts. Existing methods primarily focus on intra-domain patterns, failing to disentangle task-relevant invariant knowledge from domain-specific redundant noise, leading to negative transfer and catastrophic forgetting. To this end, we propose DIB-OD, a novel framework designed to preserve the invariant core for robust heterogeneous graph adaptation through a Decoupled Information Bottleneck and Online Distillation framework. Our core innovation is the explicit decomposition of representations into orthogonal invariant and redundant subspaces. By utilizing an Information Bottleneck teacher-student distillation mechanism and the Hilbert-Schmidt Independence Criterion, we isolate a stable invariant core that transcends domain boundaries. Furthermore, a self-adaptive semantic regularizer is introduced to protect this core from corruption during target-domain adaptation by dynamically gating label influence based on predictive confidence. Extensive experiments across chemical, biological, and social network domains demonstrate that DIB-OD significantly outperforms state-of-the-art methods, particularly in challenging inter-type domain transfers, showcasing superior generalization and anti-forgetting performance.