From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning

📄 arXiv: 2408.08981v3 📥 PDF

作者: Ranran Haoran Zhang, Bensu Uçar, Soumik Dey, Hansi Wu, Binbin Li, Rui Zhang

分类: cs.IR, cs.CL

发布日期: 2024-08-16 (更新: 2025-01-09)

💡 一句话要点

提出正负序列学习以解决开放词汇极端分类中的缺失标签问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分类 极端多标签分类 正负序列学习 标签生成 数据标注

📋 核心要点

  1. 现有的开放词汇极端多标签分类方法面临数据标注中的缺失标签问题，导致模型生成标签的能力不足。
  2. 本文提出正负序列学习（PUSL），将OXMC视为无限关键短语生成任务，从而提高生成模型的标签生成能力。
  3. 在实验中，PUSL在高度不平衡的电子商务数据集上生成了30%更多的独特标签，并在EURLex-4.3k数据集上取得了更高的F1分数。

📝 摘要（中文）

开放词汇极端多标签分类（OXMC）扩展了传统的极端多标签分类（XMC），允许超出预定义标签集的预测。然而，数据标注中的自我选择偏差导致训练和测试数据中存在显著的缺失标签，尤其是对于不太流行的输入。这造成了生成模型的懒惰学习和评估的不可靠性。本文提出了正负序列学习（PUSL），将OXMC重新框架为无限关键短语生成任务，解决生成模型的懒惰问题。此外，我们提出了一套评估指标F1@$ ext{O}$和新提出的B@$k$，以可靠评估具有不完整真实标签的OXMC模型。在一个高度不平衡的电子商务数据集中，PUSL生成了30%的独特标签，且72%的预测与实际用户查询一致。在较少偏斜的EURLex-4.3k数据集上，PUSL在标签数量从15增加到30时表现出更优的F1分数。我们的研究有效解决了OXMC中缺失标签的建模和评估挑战。

🔬 方法详解

问题定义：本文旨在解决开放词汇极端多标签分类中的缺失标签问题。现有方法由于自我选择偏差，导致训练和测试数据中存在大量缺失标签，影响模型的生成能力和评估可靠性。

核心思路：论文提出正负序列学习（PUSL），将OXMC重新定义为一个无限关键短语生成任务。通过这种方式，PUSL能够有效克服生成模型的懒惰问题，提升标签生成的多样性和准确性。

技术框架：PUSL的整体架构包括数据预处理、模型训练和评估三个主要模块。在数据预处理阶段，针对缺失标签进行标注；在模型训练阶段，利用正负样本进行序列学习；最后，通过新提出的评估指标对模型进行性能评估。

关键创新：PUSL的核心创新在于将OXMC问题转化为关键短语生成任务，显著提高了模型对标签的生成能力。这种方法与传统的标签生成方法相比，能够更好地应对缺失标签的挑战。

关键设计：在模型设计中，PUSL采用了特定的损失函数以平衡正负样本的影响，并通过优化网络结构来提高生成标签的质量和数量。

📊 实验亮点

实验结果显示，PUSL在高度不平衡的电子商务数据集中生成了30%更多的独特标签，且72%的预测与实际用户查询一致。在EURLex-4.3k数据集上，PUSL在标签数量从15增加到30时，F1分数显著提升，展示了其在处理缺失标签问题上的有效性。

🎯 应用场景

该研究在电子商务、社交媒体分析和内容推荐等领域具有广泛的应用潜力。通过提升开放词汇极端多标签分类的性能，PUSL能够帮助企业更好地理解用户需求，优化产品推荐和广告投放策略，进而提升用户体验和商业价值。

📄 摘要（原文）

Open-vocabulary Extreme Multi-label Classification (OXMC) extends traditional XMC by allowing prediction beyond an extremely large, predefined label set (typically $10^3$ to $10^{12}$ labels), addressing the dynamic nature of real-world labeling tasks. However, self-selection bias in data annotation leads to significant missing labels in both training and test data, particularly for less popular inputs. This creates two critical challenges: generation models learn to be "lazy'" by under-generating labels, and evaluation becomes unreliable due to insufficient annotation in the test set. In this work, we introduce Positive-Unlabeled Sequence Learning (PUSL), which reframes OXMC as an infinite keyphrase generation task, addressing the generation model's laziness. Additionally, we propose to adopt a suite of evaluation metrics, F1@$\mathcal{O}$ and newly proposed B@$k$, to reliably assess OXMC models with incomplete ground truths. In a highly imbalanced e-commerce dataset with substantial missing labels, PUSL generates 30% more unique labels, and 72% of its predictions align with actual user queries. On the less skewed EURLex-4.3k dataset, PUSL demonstrates superior F1 scores, especially as label counts increase from 15 to 30. Our approach effectively tackles both the modeling and evaluation challenges in OXMC with missing labels.