Assessing Classical Machine Learning and Transformer-based Approaches for Detecting AI-Generated Research Text

📄 arXiv: 2509.20375v1 📥 PDF

作者: Sharanya Parimanoharan, Ruwan D. Nawarathna

分类: cs.CL, cs.AI

发布日期: 2025-09-20

💡 一句话要点

评估经典机器学习与Transformer模型在AI生成研究文本检测中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI文本检测 机器学习 Transformer模型 DistilBERT 模型集成

📋 核心要点

  1. 当前AI文本生成模型发展迅速，难以区分AI与人类撰写的文本，对学术诚信和信息安全构成威胁。
  2. 论文探索了多种经典机器学习和Transformer模型在AI生成文本检测中的性能，并尝试集成模型以提升检测效果。
  3. 实验结果表明，DistilBERT模型表现最佳，模型集成未能超越DistilBERT单模型性能，表明模型表示的重要性。

📝 摘要（中文）

大型语言模型（LLM）如ChatGPT的快速普及模糊了人类与AI生成文本之间的界限，引发了关于学术诚信、知识产权和虚假信息传播的紧迫问题。因此，可靠的AI文本检测对于公平评估、维护人类原创性和培养对数字通信的信任至关重要。本研究调查了当前机器学习（ML）方法区分ChatGPT-3.5生成的文本与人类撰写文本的能力，采用了一个包含250对来自广泛研究主题的摘要的标记数据集。我们测试并比较了经典方法（配备经典词袋模型、词性标注和TF-IDF特征的逻辑回归）和基于Transformer的方法（BERT增强N-gram、DistilBERT、带有轻量级自定义分类器的BERT以及基于LSTM的N-gram模型）。除了评估每个模型在检测AI生成研究文本方面的性能外，我们还旨在测试这些模型的集成是否能超越任何单个检测器。结果表明，DistilBERT实现了总体最佳性能，而逻辑回归和BERT-Custom提供了可靠且平衡的替代方案；LSTM和BERT-N-gram方法则表现较差。三个最佳模型的最大投票集成未能超越DistilBERT本身，突出了单个基于Transformer的表示优于单纯的模型多样性。通过全面评估这些AI文本检测方法的优势和劣势，这项工作为更强大的Transformer框架奠定了基础，这些框架具有更大、更丰富的数据集，以跟上不断改进的生成AI模型的步伐。

🔬 方法详解

问题定义：论文旨在解决如何有效区分AI（特别是ChatGPT-3.5）生成的学术研究文本与人类撰写的文本的问题。现有方法在面对快速发展的AI生成模型时，检测准确率和泛化能力不足，难以有效维护学术诚信和知识产权。

核心思路：论文的核心思路是对比和评估多种机器学习方法，包括经典的基于特征工程的方法和基于Transformer的深度学习方法，以寻找最适合AI生成文本检测的模型。同时，探索模型集成策略，期望通过结合不同模型的优势来提升检测性能。

技术框架：整体框架包括数据收集与预处理、特征提取与模型训练、模型评估与比较以及模型集成四个主要阶段。数据收集阶段构建包含人类撰写和AI生成的研究摘要的数据集。特征提取阶段针对经典模型提取词袋模型、词性标注和TF-IDF特征，针对Transformer模型使用预训练模型进行文本表示。模型训练阶段训练逻辑回归、BERT、DistilBERT和LSTM等模型。模型评估阶段使用准确率、精确率、召回率和F1值等指标评估模型性能。模型集成阶段采用最大投票法集成多个模型。

关键创新：论文的关键创新在于对多种机器学习方法在AI生成文本检测任务上的全面评估和比较，特别是对Transformer模型的深入研究。此外，论文还探索了模型集成策略，尽管最终结果表明集成效果不佳，但为后续研究提供了有价值的经验。

关键设计：论文的关键设计包括：1) 使用包含250对研究摘要的数据集，保证了数据集的多样性；2) 针对BERT模型，尝试了带有轻量级自定义分类器的BERT，以降低计算成本；3) 采用最大投票法进行模型集成，简单有效；4) 使用准确率、精确率、召回率和F1值等多个指标综合评估模型性能。

📊 实验亮点

实验结果表明，DistilBERT模型在AI生成文本检测任务中表现最佳，优于其他经典机器学习方法和BERT模型。尽管模型集成未能超越DistilBERT单模型性能，但为后续研究提供了宝贵的经验，即在当前数据集和模型结构下，模型表示的质量比模型多样性更重要。

🎯 应用场景

该研究成果可应用于学术出版、教育评估、内容审核等领域，帮助识别和过滤AI生成的低质量或虚假研究文本，维护学术诚信，提升信息质量，并为未来开发更强大的AI文本检测工具提供参考。

📄 摘要（原文）

The rapid adoption of large language models (LLMs) such as ChatGPT has blurred the line between human and AI-generated texts, raising urgent questions about academic integrity, intellectual property, and the spread of misinformation. Thus, reliable AI-text detection is needed for fair assessment to safeguard human authenticity and cultivate trust in digital communication. In this study, we investigate how well current machine learning (ML) approaches can distinguish ChatGPT-3.5-generated texts from human-written texts employing a labeled data set of 250 pairs of abstracts from a wide range of research topics. We test and compare both classical (Logistic Regression armed with classical Bag-of-Words, POS, and TF-IDF features) and transformer-based (BERT augmented with N-grams, DistilBERT, BERT with a lightweight custom classifier, and LSTM-based N-gram models) ML detection techniques. As we aim to assess each model's performance in detecting AI-generated research texts, we also aim to test whether an ensemble of these models can outperform any single detector. Results show DistilBERT achieves the overall best performance, while Logistic Regression and BERT-Custom offer solid, balanced alternatives; LSTM- and BERT-N-gram approaches lag. The max voting ensemble of the three best models fails to surpass DistilBERT itself, highlighting the primacy of a single transformer-based representation over mere model diversity. By comprehensively assessing the strengths and weaknesses of these AI-text detection approaches, this work lays a foundation for more robust transformer frameworks with larger, richer datasets to keep pace with ever-improving generative AI models.