C-ReD: A Comprehensive Chinese Benchmark for AI-Generated Text Detection Derived from Real-World Prompts

📄 arXiv: 2604.11796v1 📥 PDF

作者: Chenxi Qing, Junxi Wu, Zheng Liu, Yixiang Qiu, Hongyao Yu, Bin Chen, Hao Wu, Shu-Tao Xia

分类: cs.CL, cs.AI

发布日期: 2026-04-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出C-ReD：一个基于真实提示的综合性中文AI生成文本检测基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成文本检测 中文基准 大型语言模型 真实提示 模型泛化

📋 核心要点

  1. 现有中文AI生成文本检测方法面临模型多样性不足和数据同质性问题，限制了其泛化能力。
  2. C-ReD通过构建包含真实用户提示的综合性中文基准，提升模型在实际场景下的检测能力。
  3. 实验证明C-ReD在领域内检测和泛化到未知LLM及外部数据集方面表现出色，填补了现有基准的不足。

📝 摘要（中文）

近年来，大型语言模型（LLMs）能够生成高度流畅的文本内容。虽然它们为人类提供了极大的便利，但也带来了各种风险，如网络钓鱼和学术不端行为。大量的研究工作致力于开发用于检测AI生成文本的算法并构建相关数据集。然而，在中文语料库领域，仍然存在挑战，包括模型多样性有限和数据同质性。为了解决这些问题，我们提出了C-ReD：一个综合性的中文真实提示AI生成检测基准。实验表明，C-ReD不仅能够实现可靠的领域内检测，还支持对未见过的LLM和外部中文数据集的强大泛化能力，从而解决了先前中文检测基准中存在的模型多样性、领域覆盖范围和提示真实性方面的关键差距。我们在https://github.com/HeraldofLight/C-ReD上发布了我们的资源。

🔬 方法详解

问题定义：当前中文AI生成文本检测方法受限于数据集的模型多样性和数据同质性，导致模型在实际应用中泛化能力不足。现有基准难以覆盖真实用户场景下的各种提示，使得检测模型在面对未知LLM或外部数据集时表现不佳。

核心思路：C-ReD的核心思路是构建一个更贴近真实用户场景的中文AI生成文本检测基准。通过收集真实用户提示，并利用多种LLM生成文本，从而提高数据集的模型多样性和提示真实性。这样训练的模型能够更好地泛化到未知的LLM和外部数据集。

技术框架：C-ReD的构建流程主要包括以下几个阶段：1) 收集真实用户提示：从各种渠道收集真实用户使用的中文提示。2) 利用多种LLM生成文本：使用收集到的提示，利用多种不同的LLM生成相应的文本。3) 构建数据集：将真实用户提示和生成的文本整理成数据集，并进行标注。4) 模型训练与评估：使用C-ReD数据集训练检测模型，并在不同的数据集上进行评估，以验证其泛化能力。

关键创新：C-ReD的关键创新在于其提示的真实性和模型的多样性。与以往的中文AI生成文本检测基准相比，C-ReD使用了真实用户提供的提示，更贴近实际应用场景。同时，C-ReD利用多种不同的LLM生成文本，增加了数据集的模型多样性，从而提高了模型的泛化能力。

关键设计：C-ReD在数据集构建过程中，注重提示的多样性和文本的质量。在收集提示时，尽可能覆盖不同的主题和风格。在生成文本时，对LLM的输出进行筛选和过滤，以保证文本的质量。此外，C-ReD还提供了多种评估指标，以便更全面地评估检测模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

C-ReD在领域内检测和泛化能力方面均表现出色。实验结果表明，使用C-ReD训练的模型在未见过的LLM和外部中文数据集上具有很强的泛化能力，显著优于在其他基准上训练的模型。这表明C-ReD能够有效解决现有中文AI生成文本检测基准存在的模型多样性和数据同质性问题。

🎯 应用场景

C-ReD可应用于内容安全、学术诚信、舆情监控等领域。通过检测AI生成的文本，可以有效防止虚假信息传播、学术抄袭等问题。该基准的发布将促进中文AI生成文本检测技术的发展，为构建更安全、可信的网络环境提供支持。

📄 摘要（原文）

Recently, large language models (LLMs) are capable of generating highly fluent textual content. While they offer significant convenience to humans, they also introduce various risks, like phishing and academic dishonesty. Numerous research efforts have been dedicated to developing algorithms for detecting AI-generated text and constructing relevant datasets. However, in the domain of Chinese corpora, challenges remain, including limited model diversity and data homogeneity. To address these issues, we propose C-ReD: a comprehensive Chinese Real-prompt AI-generated Detection benchmark. Experiments demonstrate that C-ReD not only enables reliable in-domain detection but also supports strong generalization to unseen LLMs and external Chinese datasets-addressing critical gaps in model diversity, domain coverage, and prompt realism that have limited prior Chinese detection benchmarks. We release our resources at https://github.com/HeraldofLight/C-ReD.