DetectRL-X: Towards Reliable Multilingual and Real-World LLM-Generated Text Detection

📄 arXiv: 2605.15518v1 📥 PDF

作者: Junchao Wu, Yefeng Liu, Chenyu Zhu, Hao Zhang, Zeyu Wu, Tianqi Shi, Yichao Du, Longyue Wang, Weihua Luo, Jinsong Su, Derek F. Wong

分类: cs.CL

发布日期: 2026-05-15

备注: ACL 2026 Main

💡 一句话要点

提出DetectRL-X基准，评估多语言和真实场景下LLM生成文本检测器的可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM文本检测 多语言基准 真实场景评估 对抗攻击 自然语言处理

📋 核心要点

  1. 现有LLM文本检测器在多语言环境和真实应用场景下的可靠性有待提升，面临诸多挑战。
  2. 构建DetectRL-X多语言基准，包含多种语言、领域和LLM生成方式，模拟真实使用场景。
  3. 实验结果揭示了现有检测器的优势与不足，为改进多语言检测器提供了有效评估手段。

📝 摘要（中文）

由于LLM滥用风险日益增长，有效检测和管理LLM生成的内容变得至关重要。尽管现有检测器表现出色，但它们在多语言和真实场景中的可靠性和潜力仍未得到充分探索。本研究提出了DetectRL-X，一个综合性的多语言基准，旨在从8个维度评估高级检测器。该基准包含商业环境中常用的8种语言，并从6个易受LLM滥用的领域收集人工撰写的文本。为了更好地与实际应用对齐，我们使用4种流行的商业LLM生成文本，并包含典型的AI辅助写作操作，如润色、扩展和凝练，以捕捉真实的用法模式。此外，我们开发了一个多语言框架，用于释义和扰动攻击，以模拟各种人工修改和写作噪声，从而实现跨语言的检测器压力测试。在DetectRL-X上的实验结果揭示了当前最先进的检测器在应用于不同语言资源时的优势和局限性。我们进一步分析了领域、生成器、攻击策略、文本长度和润色操作如何在不同语言中影响性能，强调了DetectRL-X作为加强多语言和特定语言检测器的有效基准。

🔬 方法详解

问题定义：现有的大语言模型（LLM）生成文本检测器，在实际应用中，尤其是在多语言环境下，其可靠性面临挑战。现有的检测方法往往在特定数据集上表现良好，但在面对不同语言、不同领域以及经过人工修改的文本时，性能显著下降。因此，如何构建一个能够全面评估LLM生成文本检测器在多语言和真实场景下性能的基准测试，是本文要解决的核心问题。

核心思路：本文的核心思路是构建一个更贴近真实应用场景的多语言基准测试数据集DetectRL-X。该基准测试不仅包含多种语言，还涵盖了不同领域的人工撰写文本，以及使用多种商业LLM生成的文本。此外，还模拟了真实场景中常见的文本修改操作，如润色、扩展和凝练，以及通过释义和扰动攻击来模拟人工修改和写作噪声。通过在DetectRL-X上对现有检测器进行评估，可以更全面地了解其在多语言和真实场景下的性能表现。

技术框架：DetectRL-X基准测试的构建主要包含以下几个阶段：1) 数据收集：收集8种常用商业语言的人工撰写文本，涵盖6个易受LLM滥用的领域。2) LLM生成：使用4种流行的商业LLM生成文本，并模拟AI辅助写作操作。3) 攻击模拟：开发多语言释义和扰动攻击框架，模拟人工修改和写作噪声。4) 评估：在DetectRL-X上评估现有LLM生成文本检测器的性能，并分析不同因素对性能的影响。

关键创新：DetectRL-X的关键创新在于其全面性和真实性。它不仅涵盖了多种语言和领域，还模拟了真实场景中常见的文本修改和攻击方式。这使得DetectRL-X能够更准确地评估LLM生成文本检测器在实际应用中的性能。此外，该基准测试还提供了一个多语言释义和扰动攻击框架，可以用于对检测器进行压力测试。

关键设计：在数据收集方面，作者精心挑选了8种商业环境中常用的语言，并从6个易受LLM滥用的领域收集人工撰写的文本，保证了数据集的多样性和代表性。在LLM生成方面，作者使用了4种流行的商业LLM，并模拟了AI辅助写作操作，以捕捉真实的用法模式。在攻击模拟方面，作者开发了一个多语言释义和扰动攻击框架，可以生成各种不同程度的文本修改，从而对检测器进行压力测试。

📊 实验亮点

在DetectRL-X基准测试上，现有最先进的检测器在不同语言和领域上的性能表现出显著差异。实验结果表明，领域、生成器、攻击策略、文本长度和润色操作等因素都会影响检测器的性能。例如，某些检测器在特定语言或领域上表现良好，但在其他语言或领域上性能下降明显。这些结果强调了DetectRL-X作为加强多语言和特定语言检测器的有效基准的价值。

🎯 应用场景

该研究成果可应用于内容安全、学术诚信、舆情监控等领域。通过DetectRL-X基准，可以有效评估和提升LLM生成文本检测器在多语言环境下的性能，从而更好地识别和管理AI生成内容，防范其被滥用，维护网络空间的健康和安全。未来，可进一步扩展DetectRL-X的语言种类和领域范围，使其更具通用性和实用性。

📄 摘要（原文）

The effective detection and governance of Large Language Model (LLM) generated content has become increasingly critical due to the growing risk of misuse. Despite the impressive performance of existing detectors, their reliability and potential in multilingual, real-world scenarios remain largely underexplored. In this study, we introduce DetectRL-X, a comprehensive multilingual benchmark designed to evaluate advanced detectors across 8 dimensions. The benchmark encompasses 8 languages commonly used in commercial contexts and collects human-written texts from 6 domains highly susceptible to LLM misuse. To better aligned with real-world applications, We create LLM-generated texts using 4 popular commercial LLMs, and include typical AI-assisted writing operations such as polishing, expanding, and condensing to capture authentic usage patterns. Furthermore, we develop a multilingual framework for paraphrasing and perturbation attacks to simulate diverse human modifications and writing noise, enabling stress testing of detectors across languages. Experimental results on DetectRL-X reveal the strengths and limitations of current state-of-the-art detectors when applied to diverse linguistic resources. We further analyze how domains, generators, attack strategies, text length, and refinement operations influence performance in different languages, underscoring DetectRL-X as an effective benchmark for strengthening multilingual and language-specific detectors.