A Simple Graph Contrastive Learning Framework for Short Text Classification

📄 arXiv: 2501.09219v1 📥 PDF

作者: Yonghao Liu, Fausto Giunchiglia, Lan Huang, Ximing Li, Xiaoyue Feng, Renchu Guan

分类: cs.CL

发布日期: 2025-01-16

备注: AAAI2025

💡 一句话要点

提出SimSTC，通过图对比学习解决短文本分类中的语义稀疏和噪声问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 短文本分类 图对比学习 多视图学习 图神经网络 对比学习

📋 核心要点

  1. 现有短文本分类模型依赖数据增强生成对比视图，易引入语义损坏和噪声，且忽略了其他潜在视图的判别信息。
  2. SimSTC通过在多个文本相关图上进行图学习，获得多视图嵌入，直接进行对比学习，无需数据增强。
  3. 实验结果表明，SimSTC在多个数据集上超越了大型语言模型，证明了其有效性和优越性。

📝 摘要（中文）

短文本分类因其普遍性和实际应用在信息时代备受关注。图学习与对比学习的结合在解决短文本分类中的语义稀疏性和有限标注数据方面显示出前景。然而，现有模型依赖于显式数据增强技术生成对比视图，导致语义损坏和噪声。此外，它们只关注学习生成视图之间的内在一致性，忽略了来自其他潜在视图的有价值的判别信息。为了解决这些问题，我们提出了一个用于短文本分类的简单图对比学习框架（SimSTC）。我们的方法包括在多个文本相关的组件图上执行图学习，以获得多视图文本嵌入。随后，我们直接对这些嵌入应用对比学习。值得注意的是，我们的方法消除了数据增强操作的需求，同时仍然利用了多视图对比学习的优势。尽管其简单性，我们的模型实现了出色的性能，在各种数据集上超越了大型语言模型。

🔬 方法详解

问题定义：短文本分类任务面临语义稀疏性和标注数据有限的挑战。现有方法通常依赖于数据增强技术来生成对比视图，但这些增强方法可能会引入噪声或改变原始文本的语义，从而损害模型的性能。此外，现有方法往往只关注增强视图之间的一致性，而忽略了不同角度的文本表示所蕴含的判别信息。

核心思路：SimSTC的核心思路是利用多视图图学习来获得更丰富和鲁棒的文本表示，并通过对比学习来学习不同视图之间的一致性和互补性。通过构建多个与文本相关的图，例如词共现图、文档-词图等，可以从不同的角度捕捉文本的语义信息。然后，通过对比学习，模型可以学习到在不同视图下保持一致的文本表示，从而提高分类性能。

技术框架：SimSTC的整体框架包括以下几个主要步骤：1) 构建多个文本相关的组件图，例如词共现图、文档-词图等。2) 在每个图上进行图学习，例如使用图神经网络（GNN）来生成节点嵌入，这些嵌入代表了文本在不同视图下的表示。3) 将不同视图的嵌入进行融合，得到多视图文本嵌入。4) 对多视图文本嵌入进行对比学习，目标是使同一文本的不同视图的嵌入尽可能接近，而不同文本的嵌入尽可能远离。5) 使用学习到的文本表示进行分类。

关键创新：SimSTC的关键创新在于它避免了使用显式的数据增强技术来生成对比视图。相反，它利用多视图图学习来获得不同的文本表示，并通过对比学习来学习这些表示之间的一致性和互补性。这种方法可以避免数据增强带来的噪声和语义损坏问题，同时还可以利用不同视图的判别信息。

关键设计：SimSTC的关键设计包括：1) 如何构建合适的文本相关图，例如选择哪些类型的图，如何定义节点和边。2) 如何选择合适的图学习算法，例如使用哪种类型的GNN，如何设置GNN的参数。3) 如何融合不同视图的嵌入，例如使用平均池化、注意力机制等。4) 如何设计对比学习的损失函数，例如使用InfoNCE损失，如何选择正负样本。

🖼️ 关键图片

fig_0

📊 实验亮点

SimSTC在多个短文本分类数据集上取得了显著的性能提升，超越了包括大型语言模型在内的现有方法。实验结果表明，SimSTC在无需数据增强的情况下，依然能够有效地学习到鲁棒的文本表示，并提高分类准确率。具体的性能数据需要在论文中查找。

🎯 应用场景

SimSTC可应用于各种短文本分类任务，例如情感分析、主题分类、垃圾邮件检测等。该方法尤其适用于标注数据有限或数据增强困难的场景。通过利用多视图图学习和对比学习，SimSTC可以有效地提高短文本分类的准确性和鲁棒性，具有广泛的应用前景。

📄 摘要（原文）

Short text classification has gained significant attention in the information age due to its prevalence and real-world applications. Recent advancements in graph learning combined with contrastive learning have shown promising results in addressing the challenges of semantic sparsity and limited labeled data in short text classification. However, existing models have certain limitations. They rely on explicit data augmentation techniques to generate contrastive views, resulting in semantic corruption and noise. Additionally, these models only focus on learning the intrinsic consistency between the generated views, neglecting valuable discriminative information from other potential views. To address these issues, we propose a Simple graph contrastive learning framework for Short Text Classification (SimSTC). Our approach involves performing graph learning on multiple text-related component graphs to obtain multi-view text embeddings. Subsequently, we directly apply contrastive learning on these embeddings. Notably, our method eliminates the need for data augmentation operations to generate contrastive views while still leveraging the benefits of multi-view contrastive learning. Despite its simplicity, our model achieves outstanding performance, surpassing large language models on various datasets.