Large Language Model (LLM) AI text generation detection based on transformer deep learning algorithm

📄 arXiv: 2405.06652v1 📥 PDF

作者: Yuhong Mo, Hao Qin, Yushan Dong, Ziyi Zhu, Zhenglin Li

分类: cs.CL

发布日期: 2024-04-06

备注: 6 pages

💡 一句话要点

提出基于Transformer的LLM文本生成检测工具以提高检测准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本生成检测 深度学习 Transformer LSTM CNN AI文本识别 模型训练 分类算法

📋 核心要点

  1. 现有的AI文本生成检测方法在准确性和效率上存在不足，难以有效区分人类与AI生成的文本。
  2. 本文提出了一种基于Transformer的深度学习模型，结合LSTM和CNN，旨在提高文本生成检测的准确性和效率。
  3. 实验结果显示，模型在训练集和验证集上的损失显著降低，准确率大幅提升，测试集的分类准确率达到99%，表现出色。

📝 摘要（中文）

本文开发了一种基于Transformer模型的工具，用于检测LLM AI文本生成，旨在提高AI文本生成检测的准确性，并为后续研究提供参考。首先对文本进行Unicode标准化，转换为小写形式，通过正则表达式去除非字母字符和标点符号，添加空格并处理多余空格。接着，深度学习模型结合了LSTM、Transformer和CNN层用于文本分类或序列标注任务。训练和验证集结果表明，模型损失从0.127降至0.005，准确率从94.96%提升至99.8%，显示出良好的检测和分类能力。测试集的混淆矩阵和准确率表明，模型对AI生成文本的预测准确率达到99%，精确率为0.99，召回率为1，F1分数为0.99，分类准确率极高。展望未来，该方法在AI文本检测领域具有广泛的应用前景。

🔬 方法详解

问题定义：本文旨在解决现有AI文本生成检测方法准确性不足的问题，尤其是在区分人类与AI生成文本方面的挑战。现有方法往往无法有效处理文本的多样性和复杂性。

核心思路：论文提出的核心思路是利用Transformer模型的强大特征提取能力，结合LSTM和CNN的优势，构建一个高效的文本分类模型，以提高检测的准确性和鲁棒性。

技术框架：整体架构包括文本预处理、特征提取和分类三个主要模块。文本预处理阶段进行Unicode标准化、去除非字母字符和多余空格，特征提取阶段采用LSTM和CNN，最后通过Transformer进行文本分类。

关键创新：最重要的技术创新在于将LSTM、CNN与Transformer相结合，形成一个多层次的特征提取和分类框架，显著提升了模型对AI生成文本的检测能力。与现有方法相比，该模型在准确性和效率上均有显著提升。

关键设计：模型的关键设计包括使用交叉熵作为损失函数，采用Adam优化器进行训练，网络结构中结合了多层LSTM、CNN和Transformer层，以实现高效的特征学习和分类。

📊 实验亮点

实验结果显示，模型在训练集和验证集上的损失从0.127降至0.005，准确率从94.96%提升至99.8%。在测试集上，模型对AI生成文本的预测准确率达到99%，精确率为0.99，召回率为1，F1分数为0.99，展现出极高的分类性能。

🎯 应用场景

该研究的潜在应用领域包括教育、内容审核、社交媒体监控等，能够有效识别和过滤AI生成的文本，维护信息的真实性和可靠性。未来，该技术有望广泛应用于各类文本生成场景，提升文本内容的可信度。

📄 摘要（原文）

In this paper, a tool for detecting LLM AI text generation is developed based on the Transformer model, aiming to improve the accuracy of AI text generation detection and provide reference for subsequent research. Firstly the text is Unicode normalised, converted to lowercase form, characters other than non-alphabetic characters and punctuation marks are removed by regular expressions, spaces are added around punctuation marks, first and last spaces are removed, consecutive ellipses are replaced with single spaces and the text is connected using the specified delimiter. Next remove non-alphabetic characters and extra whitespace characters, replace multiple consecutive whitespace characters with a single space and again convert to lowercase form. The deep learning model combines layers such as LSTM, Transformer and CNN for text classification or sequence labelling tasks. The training and validation sets show that the model loss decreases from 0.127 to 0.005 and accuracy increases from 94.96 to 99.8, indicating that the model has good detection and classification ability for AI generated text. The test set confusion matrix and accuracy show that the model has 99% prediction accuracy for AI-generated text, with a precision of 0.99, a recall of 1, and an f1 score of 0.99, achieving a very high classification accuracy. Looking forward, it has the prospect of wide application in the field of AI text detection.