Differentiated Information Mining: A Semi-supervised Learning Framework for GNNs

📄 arXiv: 2508.08769v1 📥 PDF

作者: Long Wang, Kai Liu

分类: cs.LG

发布日期: 2025-08-12

备注: 13 pages, 5 figures, 8 tables

💡 一句话要点

提出差异化因子一致性半监督框架以解决GNN伪标签偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 半监督学习 伪标签 鲁棒性 多模态融合 决策因子 一致性学习

📋 核心要点

  1. 现有的半监督学习方法在处理图神经网络时，容易受到伪标签确认偏差和训练崩溃的影响，导致性能下降。
  2. 本文提出的DiFac框架通过从单一信息源中提取差异化因子，并强制其一致性，来解决上述问题。
  3. 在多个基准数据集上的实验表明，DiFac在低标签情况下的鲁棒性和泛化能力显著提升，超越了其他基线方法。

📝 摘要（中文）

在半监督学习中，为提高图神经网络（GNN）在无标签数据上的性能，引入相互独立的决策因子进行交叉验证被认为是一种有效策略。然而，获取这些因子在实践中具有挑战性。为此，本文提出了一种差异化因子一致性半监督框架（DiFac），从单一信息源中提取差异化因子并强制其一致性。在预训练阶段，模型学习提取这些因子；在训练阶段，迭代去除具有冲突因子的样本，并基于最短音阶原则对伪标签进行排序，选择前候选样本以减少常见的过度自信现象。实验结果表明，DiFac在低标签情况下显著提高了鲁棒性和泛化能力，优于其他基线方法。

🔬 方法详解

问题定义：本文旨在解决图神经网络在半监督学习中面临的伪标签确认偏差和训练崩溃问题。现有方法在获取独立决策因子时面临信息源稀缺和因子独立性无法保证的挑战。

核心思路：DiFac框架通过从单一信息源中提取差异化因子，并在训练过程中强制这些因子的一致性，来减少伪标签的偏差。该设计旨在提高模型的鲁棒性，降低过度自信现象。

技术框架：DiFac框架包括两个主要阶段：预训练阶段和训练阶段。在预训练阶段，模型学习提取差异化因子；在训练阶段，模型迭代去除冲突因子样本，并根据最短音阶原则对伪标签进行排序。

关键创新：DiFac的核心创新在于从单一信息源中提取差异化因子并强制其一致性，这与传统方法依赖多个独立信息源的思路有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来衡量因子一致性，并引入了辅助决策因子，如多模态语言模型的潜在文本知识，以增强模型的决策能力。同时，设计了一个责任评分机制来降低辅助因子带来的错误判断。

📊 实验亮点

在多个基准数据集上的实验结果显示，DiFac框架在低标签情况下的鲁棒性和泛化能力显著提升，具体表现为在某些数据集上相较于基线方法提高了5%-10%的准确率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括社交网络分析、推荐系统和生物信息学等。通过提高图神经网络在低标签数据下的性能，DiFac框架能够为实际应用提供更可靠的决策支持，推动相关领域的发展。未来，该方法还可能扩展到其他类型的图数据分析任务中。

📄 摘要（原文）

In semi-supervised learning (SSL) for enhancing the performance of graph neural networks (GNNs) with unlabeled data, introducing mutually independent decision factors for cross-validation is regarded as an effective strategy to alleviate pseudo-label confirmation bias and training collapse. However, obtaining such factors is challenging in practice: additional and valid information sources are inherently scarce, and even when such sources are available, their independence from the original source cannot be guaranteed. To address this challenge, In this paper we propose a Differentiated Factor Consistency Semi-supervised Framework (DiFac), which derives differentiated factors from a single information source and enforces their consistency. During pre-training, the model learns to extract these factors; in training, it iteratively removes samples with conflicting factors and ranks pseudo-labels based on the shortest stave principle, selecting the top candidate samples to reduce overconfidence commonly observed in confidence-based or ensemble-based methods. Our framework can also incorporate additional information sources. In this work, we leverage the large multimodal language model to introduce latent textual knowledge as auxiliary decision factors, and we design a accountability scoring mechanism to mitigate additional erroneous judgments introduced by these auxiliary factors. Experiments on multiple benchmark datasets demonstrate that DiFac consistently improves robustness and generalization in low-label regimes, outperforming other baseline methods.