Text2Topic: Multi-Label Text Classification System for Efficient Topic Detection in User Generated Content with Zero-Shot Capabilities
作者: Fengjun Wang, Moran Beladev, Ofri Kleinfeld, Elina Frayerman, Tal Shachar, Eran Fainman, Karen Lastmann Assaraf, Sarai Mizrachi, Benjamin Wang
分类: cs.LG
发布日期: 2023-10-23
💡 一句话要点
提出Text2Topic以解决多标签文本分类问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多标签文本分类 零样本学习 双编码器Transformer 用户生成内容 文本嵌入 高吞吐量推理 智能采样
📋 核心要点
- 现有的多标签文本分类方法在处理用户生成内容时面临效率和准确性不足的挑战。
- 本文提出的Text2Topic系统利用双编码器Transformer架构，通过嵌入的拼接、减法和乘法运算来提升分类性能。
- 实验结果表明，Text2Topic在92.9%的微平均精度和75.8%的宏平均精度上超越了现有的最先进模型。
📝 摘要（中文）
多标签文本分类是工业界中的一项关键任务，有助于从大量文本数据中提取结构化信息。本文提出了Text2Topic，通过采用双编码器Transformer架构，利用文本和主题的嵌入进行拼接、减法和乘法运算，实现了高效的多标签分类性能。Text2Topic还支持零样本预测，生成领域特定的文本嵌入，并能够以高吞吐量进行生产级批量推理。最终模型在多个基准测试中表现优异，达到了92.9%的微平均精度和75.8%的宏平均精度。
🔬 方法详解
问题定义：本文旨在解决多标签文本分类中的效率和准确性问题，现有方法在处理用户生成内容时常常面临性能瓶颈和分类准确性不足的挑战。
核心思路：Text2Topic的核心思路是采用双编码器Transformer架构，通过对文本和主题嵌入进行拼接、减法和乘法运算，增强模型对多标签分类的理解和处理能力。
技术框架：整体架构包括数据预处理、嵌入生成、模型训练和推理四个主要模块。数据预处理阶段使用优化的智能采样和部分标注技术，生成领域特定的文本嵌入。
关键创新：最重要的技术创新点在于双编码器Transformer的设计，结合了多种嵌入操作，使得模型在零样本预测和高吞吐量批量推理方面表现优异。
关键设计：模型采用了特定的损失函数以优化多标签分类效果，并在网络结构上进行了多次消融实验，以确定最佳的参数设置和嵌入方式。通过这些设计，Text2Topic在实际应用中表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Text2Topic在微平均精度上达到了92.9%，宏平均精度为75.8%，显著超越了现有的最先进基线模型，包括大型语言模型。这一性能提升表明了其在多标签文本分类任务中的有效性和可靠性。
🎯 应用场景
Text2Topic可广泛应用于社交媒体分析、在线评论分类、新闻主题检测等领域，能够有效处理用户生成内容中的多标签分类问题。其高效的推理能力和零样本预测特性使其在实时数据处理和大规模文本分析中具有重要的实际价值和潜在影响。
📄 摘要（原文）
Multi-label text classification is a critical task in the industry. It helps to extract structured information from large amount of textual data. We propose Text to Topic (Text2Topic), which achieves high multi-label classification performance by employing a Bi-Encoder Transformer architecture that utilizes concatenation, subtraction, and multiplication of embeddings on both text and topic. Text2Topic also supports zero-shot predictions, produces domain-specific text embeddings, and enables production-scale batch-inference with high throughput. The final model achieves accurate and comprehensive results compared to state-of-the-art baselines, including large language models (LLMs). In this study, a total of 239 topics are defined, and around 1.6 million text-topic pairs annotations (in which 200K are positive) are collected on approximately 120K texts from 3 main data sources on Booking.com. The data is collected with optimized smart sampling and partial labeling. The final Text2Topic model is deployed on a real-world stream processing platform, and it outperforms other models with 92.9% micro mAP, as well as a 75.8% macro mAP score. We summarize the modeling choices which are extensively tested through ablation studies, and share detailed in-production decision-making steps.