So let's replace this phrase with insult... Lessons learned from generation of toxic texts with LLMs

📄 arXiv: 2509.08358v1 📥 PDF

作者: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

分类: cs.CL, cs.AI

发布日期: 2025-09-10

💡 一句话要点

研究表明LLM生成的有毒文本在文本解毒任务中表现不如人工数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本解毒 合成数据 毒性生成 词汇多样性

📋 核心要点

  1. 现有文本解毒模型依赖人工标注的有毒数据，成本高昂且难以覆盖所有毒性类型。
  2. 本文探索使用LLM自动生成有毒数据，以替代人工数据训练解毒模型，降低成本并扩展数据规模。
  3. 实验表明，LLM生成的有毒数据训练的模型性能显著低于人工数据，揭示了LLM在毒性表达上的局限性。

📝 摘要（中文）

现代大型语言模型（LLM）在生成合成数据方面表现出色。然而，它们在文本解毒等敏感领域的性能尚未受到科学界的充分关注。本文探讨了使用LLM生成的合成有毒数据作为人工生成数据的替代方案，用于训练解毒模型的可行性。我们使用Llama 3和Qwen激活修补模型，为ParaDetox和SST-2数据集中性文本生成了合成的有毒对应文本。实验表明，在合成数据上微调的模型始终比在人工数据上训练的模型表现更差，联合指标的性能下降高达30%。根本原因在于关键的词汇多样性差距：LLM使用少量重复的侮辱性词汇生成有毒内容，无法捕捉人类毒性的细微差别和多样性。这些发现突出了当前LLM在该领域的局限性，并强调了多样化的人工标注数据对于构建强大的解毒系统的重要性。

🔬 方法详解

问题定义：本文旨在研究使用大型语言模型（LLM）生成的合成有毒数据，是否可以有效替代人工标注的有毒数据，用于训练文本解毒模型。现有方法依赖于人工标注，成本高昂且覆盖范围有限，难以捕捉所有类型的毒性表达。

核心思路：核心思路是利用LLM强大的文本生成能力，自动生成大量有毒文本，然后使用这些合成数据来微调解毒模型。期望通过这种方式，降低对人工标注数据的依赖，并提高解毒模型的泛化能力。然而，研究发现LLM生成的毒性文本在词汇多样性上存在严重不足。

技术框架：整体流程包括以下几个步骤：1) 选择中性文本数据集（ParaDetox和SST-2）；2) 使用Llama 3和Qwen等LLM，基于中性文本生成对应的有毒文本；3) 使用合成的有毒数据和原始中性文本，训练文本解毒模型；4) 在标准测试集上评估解毒模型的性能，并与使用人工标注数据训练的模型进行比较。

关键创新：该研究的关键创新在于，它系统性地评估了LLM生成合成有毒数据在文本解毒任务中的有效性。虽然LLM在文本生成方面表现出色，但该研究揭示了其在生成多样化和细微毒性表达方面的局限性。这与现有方法依赖人工标注数据形成了鲜明对比，指出了LLM在特定领域的不足。

关键设计：研究使用了Llama 3和Qwen等先进的LLM，并采用了激活修补技术来控制生成文本的毒性程度。实验中，研究人员比较了使用不同比例的合成数据和人工数据训练的解毒模型的性能。此外，还分析了LLM生成文本的词汇多样性，以解释性能差异。具体参数设置和损失函数未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用LLM生成的合成有毒数据训练的解毒模型，在联合指标上比使用人工数据训练的模型性能下降高达30%。词汇多样性分析显示，LLM生成的有毒文本主要集中在少量重复的侮辱性词汇上，无法捕捉人类毒性的复杂性和多样性。这表明当前LLM在生成高质量有毒数据方面存在局限性。

🎯 应用场景

该研究结果对文本解毒、内容审核和安全AI等领域具有重要意义。它提醒研究人员和开发者，在敏感领域使用LLM生成数据时，需要谨慎评估其质量和多样性。未来的研究可以探索如何改进LLM的毒性生成能力，例如通过引入更丰富的毒性知识库或使用对抗训练等方法。

📄 摘要（原文）

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.