CoCoP: Enhancing Text Classification with LLM through Code Completion Prompt

📄 arXiv: 2411.08979v1 📥 PDF

作者: Mohammad Mahdi Mohajeri, Mohammad Javad Dousti, Majid Nili Ahmadabadi

分类: cs.CL, cs.AI

发布日期: 2024-11-13

💡 一句话要点

提出CoCoP方法，利用代码补全提示增强LLM在文本分类任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本分类 大型语言模型 代码补全 提示工程 自然语言处理

📋 核心要点

  1. 现有LLM在文本分类任务中依赖高质量的输入提示，提示工程成本高昂。
  2. CoCoP方法将文本分类问题转化为代码补全任务，利用LLM的代码生成能力。
  3. 实验表明，CoCoP在多个数据集上显著提升了文本分类的准确率，尤其是在SST2数据集上。

📝 摘要（中文）

文本分类是自然语言处理（NLP）中的一项基本任务，大型语言模型（LLM）已展示了其在各个领域执行此任务的能力。然而，LLM的性能在很大程度上取决于其输入提示的质量。最近的研究也表明，LLM在代码相关任务中表现出卓越的结果。为了利用LLM在文本分类中的能力，我们提出了代码补全提示（CoCoP）方法，该方法将文本分类问题转换为代码补全任务。CoCoP通过利用LLM的代码补全能力，显著提高了各种数据集上的文本分类性能。例如，CoCoP将SST2数据集的准确率提高了20%以上。此外，当CoCoP与专门为代码相关任务设计的LLM（代码模型）集成时，例如CodeLLaMA，该方法表现出比few-shot学习技术更好或相当的性能，同时仅使用十分之一的模型大小。我们提出的方法的源代码将在论文被接受后公开。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在文本分类任务中对高质量提示的依赖问题。现有的方法通常需要精心设计的提示工程，这既耗时又需要专业知识，限制了LLM在文本分类任务中的应用。

核心思路：论文的核心思路是将文本分类问题转化为代码补全问题。通过将文本分类任务描述为一段不完整的代码，并要求LLM补全代码，从而利用LLM在代码生成方面的强大能力来完成文本分类任务。这种方法避免了直接设计复杂的文本提示，而是利用了LLM对代码结构的理解。

技术框架：CoCoP方法的核心流程如下：1. 将文本分类任务转化为代码补全任务。例如，对于情感分类，可以构建一个包含文本和部分代码的Python函数，该函数根据文本的情感返回相应的标签。2. 将构建的代码片段作为提示输入LLM。3. LLM根据提示补全代码，生成完整的代码片段，其中包含文本的分类结果。4. 从LLM生成的代码中提取分类结果。

关键创新：CoCoP方法的关键创新在于将文本分类问题重新定义为代码补全问题。这种转换使得可以利用LLM在代码生成方面的优势，而无需进行复杂的提示工程。与传统的文本提示方法相比，CoCoP方法更加简洁高效，并且能够更好地利用LLM的内在能力。

关键设计：CoCoP方法的关键设计包括：1. 代码片段的构建方式：需要根据具体的文本分类任务设计合适的代码片段，确保LLM能够理解任务目标并生成正确的代码。2. LLM的选择：可以选择通用LLM或专门为代码生成设计的LLM（例如CodeLLaMA）。3. 代码提取方式：需要设计合适的代码提取方式，从LLM生成的代码中准确提取分类结果。论文中可能还涉及一些超参数的调整，例如温度系数等，以控制LLM生成代码的多样性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CoCoP方法在多个文本分类数据集上取得了显著的性能提升。例如，在SST2数据集上，CoCoP的准确率提高了20%以上。此外，当CoCoP与CodeLLaMA等代码模型集成时，其性能优于或相当于few-shot学习技术，同时模型大小仅为其十分之一。这些结果表明，CoCoP是一种高效且有效的文本分类方法。

🎯 应用场景

CoCoP方法可应用于各种文本分类场景，例如情感分析、主题分类、垃圾邮件检测等。该方法尤其适用于资源受限的环境，因为它可以使用较小的代码模型实现与大型模型相当甚至更好的性能。未来，CoCoP可以扩展到更复杂的NLP任务，例如文本摘要、机器翻译等。

📄 摘要（原文）

Text classification is a fundamental task in natural language processing (NLP), and large language models (LLMs) have demonstrated their capability to perform this task across various domains. However, the performance of LLMs heavily depends on the quality of their input prompts. Recent studies have also shown that LLMs exhibit remarkable results in code-related tasks. To leverage the capabilities of LLMs in text classification, we propose the Code Completion Prompt (CoCoP) method, which transforms the text classification problem into a code completion task. CoCoP significantly improves text classification performance across diverse datasets by utilizing LLMs' code-completion capability. For instance, CoCoP enhances the accuracy of the SST2 dataset by more than 20%. Moreover, when CoCoP integrated with LLMs specifically designed for code-related tasks (code models), such as CodeLLaMA, this method demonstrates better or comparable performance to few-shot learning techniques while using only one-tenth of the model size. The source code of our proposed method will be available to the public upon the acceptance of the paper.