BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions
作者: Arth Bohra, Govert Verkes, Artem Harutyunyan, Pascal Weinberger, Giovanni Campagna
分类: cs.CL, cs.LG
发布日期: 2023-10-09
备注: Accepted at EMNLP 2023 (Findings)
💡 一句话要点
提出BYOC方法以解决个性化少样本文本分类问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 文本分类 个性化模型 自然语言处理 用户交互
📋 核心要点
- 现有文本分类方法需要大量标注数据或复杂的提示设计，限制了用户的灵活性和可用性。
- 本文提出的BYOC方法通过用户与LLM的互动，共同撰写类别描述，简化了少样本分类过程。
- 实验结果显示，使用该方法构建的个性化分类器准确率达到90%，显著高于现有方法的性能。
📝 摘要（中文）
文本分类是许多自然语言处理应用的重要基础，但现有方法通常需要大量标注数据或精心设计的提示，限制了最终用户的使用。为了解决这一问题，本文提出了一种新的少样本文本分类方法，利用大型语言模型（LLM）与用户互动，共同撰写每个类别的特征描述。用户在标注少样本示例时，LLM会提出相关问题，用户回答后，示例、问题和答案被总结形成分类提示。实验结果表明，该方法在仅使用1%训练集的情况下，分类器的准确率达到82%，个性化分类器的平均准确率为90%，比现有最先进方法高出15%。
🔬 方法详解
问题定义：本文旨在解决现有文本分类方法对大量标注数据的依赖，以及用户在构建分类器时的复杂性。现有方法往往需要精心设计的提示和长上下文，限制了最终用户的使用。
核心思路：提出了一种新的少样本文本分类方法，通过与用户的互动，LLM帮助用户撰写每个类别的特征描述，而不是依赖于传统的少样本示例。这种方法使得用户能够更灵活地构建符合自身需求的分类器。
技术框架：整体流程包括用户标注少样本示例、LLM提出相关问题、用户回答问题、以及将示例、问题和答案总结形成分类提示。该方法的核心在于用户与LLM的协作。
关键创新：最重要的创新在于通过用户与LLM的互动，共同撰写类别描述，取代传统的少样本示例。这种方法不仅提高了分类器的准确性，也增强了用户的参与感和灵活性。
关键设计：在技术细节上，方法通过设计有效的提示生成机制，确保LLM能够提出有针对性的问题。此外，模型的训练过程中使用了少量的标注数据，优化了分类器的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用BYOC方法构建的个性化分类器在准确率上达到了90%，比现有最先进方法高出15%。此外，该方法在仅使用1%训练集的情况下，分类器的性能达到了82%，显示出其在少样本学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括个性化文本分类、自动化内容推荐和用户定制化信息检索等。通过简化分类器的构建过程，用户能够根据自身需求快速生成高效的分类模型，提升了文本处理的灵活性和效率。未来，该方法可能在教育、市场分析和社交媒体等领域产生深远影响。
📄 摘要（原文）
Text classification is a well-studied and versatile building block for many NLP applications. Yet, existing approaches require either large annotated corpora to train a model with or, when using large language models as a base, require carefully crafting the prompt as well as using a long context that can fit many examples. As a result, it is not possible for end-users to build classifiers for themselves. To address this issue, we propose a novel approach to few-shot text classification using an LLM. Rather than few-shot examples, the LLM is prompted with descriptions of the salient features of each class. These descriptions are coauthored by the user and the LLM interactively: while the user annotates each few-shot example, the LLM asks relevant questions that the user answers. Examples, questions, and answers are summarized to form the classification prompt. Our experiments show that our approach yields high accuracy classifiers, within 82% of the performance of models trained with significantly larger datasets while using only 1% of their training sets. Additionally, in a study with 30 participants, we show that end-users are able to build classifiers to suit their specific needs. The personalized classifiers show an average accuracy of 90%, which is 15% higher than the state-of-the-art approach.