Text-ADBench: Text Anomaly Detection Benchmark based on LLMs Embedding

📄 arXiv: 2507.12295v1 📥 PDF

作者: Feng Xiao, Jicong Fan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-07-16

🔗 代码/项目: GITHUB

💡 一句话要点

Text-ADBench：基于LLM嵌入的文本异常检测基准，揭示嵌入质量是关键。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本异常检测 预训练语言模型 文本嵌入 基准测试 异常检测算法

📋 核心要点

  1. 现有文本异常检测缺乏标准化的综合基准，限制了对现有方法的严格比较和创新方法的发展。
  2. Text-ADBench通过利用各种预训练语言模型的嵌入，并结合多领域文本数据集，构建了一个全面的文本异常检测基准。
  3. 实验表明，嵌入质量是影响异常检测效果的关键因素，且深度学习方法在使用LLM嵌入时，性能并不优于传统浅层算法。

📝 摘要（中文）

本文针对自然语言处理中重要的文本异常检测任务，如欺诈检测、虚假信息识别、垃圾邮件检测和内容审核等，提出了一个全面的文本异常检测基准Text-ADBench。该基准利用来自多种预训练语言模型（包括早期语言模型GloVe、BERT以及多个LLM如LLaMa-2、LLama-3、Mistral、OpenAI系列模型）的嵌入，并涵盖新闻、社交媒体、科学出版物等多个领域的文本数据集。通过综合评估指标（AUROC、AUPRC），实验结果表明嵌入质量显著影响异常检测效果，且基于深度学习的方法在使用LLM嵌入时，相比传统浅层算法（如KNN、Isolation Forest）没有性能优势。此外，观察到跨模型性能矩阵具有强烈的低秩特性，这为实际应用中快速模型评估和选择提供了有效策略。该基准工具包已开源，为未来稳健且可扩展的文本异常检测系统研究奠定了基础。

🔬 方法详解

问题定义：文本异常检测旨在识别文本数据中与正常模式显著不同的样本，在欺诈检测、虚假信息识别等领域有重要应用。现有方法缺乏统一的评估标准，难以公平比较不同算法的性能，阻碍了新方法的开发。

核心思路：该研究的核心思路是构建一个全面的基准数据集和评估框架，通过使用不同预训练语言模型的嵌入，系统地评估各种异常检测算法的性能。重点关注嵌入质量对异常检测效果的影响，并探索快速模型评估和选择的策略。

技术框架：Text-ADBench包含以下几个主要组成部分：1) 多样化的文本数据集，涵盖新闻、社交媒体、科学出版物等领域；2) 来自不同预训练语言模型的文本嵌入，包括早期语言模型和多个LLM；3) 异常检测算法，包括传统的浅层算法（如KNN、Isolation Forest）和基于深度学习的方法；4) 综合评估指标，如AUROC和AUPRC。研究人员可以使用该基准评估不同嵌入和算法的性能。

关键创新：该研究的关键创新在于构建了一个全面的、标准化的文本异常检测基准，并揭示了嵌入质量对异常检测效果的显著影响。此外，研究发现深度学习方法在使用LLM嵌入时，性能并不优于传统浅层算法，挑战了以往的认知。观察到的跨模型性能矩阵的低秩特性，为快速模型评估和选择提供了新的思路。

关键设计：该研究的关键设计包括：1) 选择具有代表性的文本数据集，覆盖不同领域和数据分布；2) 选用多种预训练语言模型，包括不同架构和规模的模型，以评估嵌入质量的影响；3) 采用常用的异常检测算法，包括基于距离、密度和树的方法；4) 使用AUROC和AUPRC等指标，全面评估异常检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，嵌入质量是影响异常检测效果的关键因素。令人惊讶的是，基于深度学习的方法在使用LLM嵌入时，性能并不优于传统的浅层算法，如KNN和Isolation Forest。此外，研究观察到跨模型性能矩阵具有强烈的低秩特性，这为实际应用中快速模型评估和选择提供了有效策略。

🎯 应用场景

该研究成果可广泛应用于欺诈检测、虚假信息识别、垃圾邮件检测、内容审核等领域。通过使用Text-ADBench，研究人员可以更有效地评估和比较不同的文本异常检测算法，从而开发出更稳健和可扩展的异常检测系统。该基准还有助于推动预训练语言模型在异常检测领域的应用。

📄 摘要（原文）

Text anomaly detection is a critical task in natural language processing (NLP), with applications spanning fraud detection, misinformation identification, spam detection and content moderation, etc. Despite significant advances in large language models (LLMs) and anomaly detection algorithms, the absence of standardized and comprehensive benchmarks for evaluating the existing anomaly detection methods on text data limits rigorous comparison and development of innovative approaches. This work performs a comprehensive empirical study and introduces a benchmark for text anomaly detection, leveraging embeddings from diverse pre-trained language models across a wide array of text datasets. Our work systematically evaluates the effectiveness of embedding-based text anomaly detection by incorporating (1) early language models (GloVe, BERT); (2) multiple LLMs (LLaMa-2, LLama-3, Mistral, OpenAI (small, ada, large)); (3) multi-domain text datasets (news, social media, scientific publications); (4) comprehensive evaluation metrics (AUROC, AUPRC). Our experiments reveal a critical empirical insight: embedding quality significantly governs anomaly detection efficacy, and deep learning-based approaches demonstrate no performance advantage over conventional shallow algorithms (e.g., KNN, Isolation Forest) when leveraging LLM-derived embeddings.In addition, we observe strongly low-rank characteristics in cross-model performance matrices, which enables an efficient strategy for rapid model evaluation (or embedding evaluation) and selection in practical applications. Furthermore, by open-sourcing our benchmark toolkit that includes all embeddings from different models and code at https://github.com/jicongfan/Text-Anomaly-Detection-Benchmark, this work provides a foundation for future research in robust and scalable text anomaly detection systems.