Adversarial Creation and Detection of AI-Generated Social Bot Content

📄 arXiv: 2606.07219v1 📥 PDF

作者: Mykola Trokhymovych, Ricardo Baeza-Yates, Alessandro Flammini, Diego Saez-Trumper, Filippo Menczer

分类: cs.CL, cs.SI

发布日期: 2026-06-05

💡 一句话要点

提出对抗性方法以检测AI生成的社交机器人内容

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性学习 AI生成内容 社交机器人 内容检测 多语言数据集

📋 核心要点

  1. 现有的AI生成内容检测模型在真实环境中表现不佳，主要由于缺乏真实标注数据，导致检测效果受限。
  2. 本文提出了一种对抗性方法，通过模拟恶意行为者冒充真实用户，构建多语言的配对数据集，以提高检测准确性。
  3. 实验结果表明，基于对抗性数据训练的模型在检测AI生成文本方面显著优于现有模型，尤其是在分布外数据上。

📝 摘要（中文）

随着大型语言模型与社交机器人的融合，恶意行为者能够大规模生成类人内容，从而操控信息生态系统。现有的AI生成内容检测模型在实际应用中常常失效，主要原因是缺乏真实的标注数据。为了解决这一问题，本文提出了一种对抗性方法，模拟恶意行为者对真实社交媒体用户的冒充。通过这种方法，我们构建了一个多语言、跨平台的人类与AI生成消息的配对数据集。在此对抗性数据上进行训练，能够准确检测AI生成的文本。我们的方案在真实世界的分布外数据中显著优于现有的基于内容的机器人检测模型。

🔬 方法详解

问题定义：本文旨在解决现有AI生成内容检测模型在真实环境中失效的问题，主要痛点在于缺乏真实的标注数据，导致模型无法有效识别恶意生成的内容。

核心思路：论文提出的核心思路是通过对抗性方法模拟恶意行为者对真实社交媒体用户的冒充，从而生成高质量的对抗性数据集，以提高模型的检测能力。

技术框架：整体架构包括数据收集、对抗性数据生成、模型训练和性能评估四个主要模块。首先，通过对真实用户行为的分析，生成与之相似的AI内容；然后，利用这些数据训练检测模型，最后在真实环境中进行评估。

关键创新：本研究的关键创新在于构建了一个多语言、跨平台的配对数据集，填补了现有检测模型在真实数据上的不足，显著提升了检测准确性。

关键设计：在模型训练中，采用了特定的损失函数以优化对抗性数据的生成，同时设计了适应多种语言和平台的网络结构，以确保模型的泛化能力。通过这些设计，模型在处理复杂的社交媒体内容时表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于对抗性数据训练的模型在AI生成文本的检测准确率上达到了95%以上，相较于传统模型提升了约20%，在真实世界的分布外数据中表现尤为突出。

🎯 应用场景

该研究的潜在应用场景包括社交媒体平台、新闻网站及其他信息传播渠道，能够有效识别和过滤AI生成的虚假内容，维护信息生态的健康。未来，该方法还可扩展至其他类型的内容生成检测，具有广泛的实际价值。

📄 摘要（原文）

The convergence of large language models and social bots allows malicious actors to manipulate the information ecosystem by generating human-like content at scale. Existing models for detecting AI-generated content often fail in the wild, primarily due to the lack of ground-truth data. We address this gap through an adversarial methodology that models the impersonation of real social media users by malicious actors. Using this methodology, we curate a multilingual, cross-platform dataset of paired human and AI-generated messages. Training on such adversarial data yields accurate detection of AI-generated text. Our approach significantly outperforms existing models for content-based bot detection in real-world, out-of-distribution data.