So let's replace this phrase with insult... Lessons learned from generation of toxic texts with LLMs

📄 arXiv: 2509.08358v1 📥 PDF

作者: Sergey Pletenev, Daniil Moskovskiy, Alexander Panchenko

分类: cs.CL, cs.AI

发布日期: 2025-09-10

💡 一句话要点

研究表明：LLM生成的有毒文本在文本解毒任务中表现不如人工标注数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本解毒 合成数据生成 毒性检测 词汇多样性

📋 核心要点

  1. 现有文本解毒模型依赖人工标注的有毒数据，成本高昂且难以覆盖所有毒性表达。
  2. 本文探索使用LLM生成合成有毒数据，以替代人工标注数据训练解毒模型，降低成本。
  3. 实验表明，LLM生成的有毒数据训练的模型性能显著低于人工数据，存在词汇多样性不足的问题。

📝 摘要（中文）

现代大型语言模型（LLM）在生成合成数据方面表现出色。然而，它们在文本解毒等敏感领域的性能尚未受到科学界的充分关注。本文探讨了使用LLM生成的合成有毒数据作为人工生成数据的替代方案，用于训练解毒模型的可行性。我们使用Llama 3和Qwen激活修补模型，为ParaDetox和SST-2数据集中性文本生成了合成的有毒对应文本。实验表明，在合成数据上微调的模型始终比在人工数据上训练的模型表现更差，联合指标的性能下降高达30%。根本原因在于关键的词汇多样性差距：LLM使用少量重复的侮辱性词汇生成有毒内容，无法捕捉人类毒性的细微差别和多样性。这些发现突出了当前LLM在该领域的局限性，并强调了多样化的人工标注数据对于构建强大的解毒系统的重要性。

🔬 方法详解

问题定义：本文旨在研究能否使用大型语言模型（LLM）生成的合成有毒文本数据，替代人工标注的有毒文本数据，用于训练文本解毒模型。现有方法依赖于大量人工标注的有毒数据，这不仅成本高昂，而且难以覆盖所有类型的毒性表达，存在标注偏差和数据稀缺等问题。

核心思路：核心思路是利用LLM强大的生成能力，自动生成大量的有毒文本数据，然后使用这些数据来训练文本解毒模型。期望通过这种方式，降低对人工标注数据的依赖，提高解毒模型的泛化能力和鲁棒性。然而，研究发现LLM生成的有毒文本存在词汇多样性不足的问题。

技术框架：整体流程包括以下几个步骤：1) 选择中性文本数据集（ParaDetox和SST-2）；2) 使用Llama 3和Qwen激活修补模型，将中性文本转换为有毒文本；3) 使用合成的有毒数据和人工标注的有毒数据分别训练文本解毒模型；4) 评估不同模型在解毒任务上的性能。

关键创新：关键创新在于探索了使用LLM生成合成有毒数据来训练解毒模型的可行性，并指出了当前LLM在生成多样化有毒文本方面的局限性。与现有方法相比，该方法旨在降低对人工标注数据的依赖，提高解毒模型的训练效率。

关键设计：论文使用了Llama 3和Qwen激活修补模型进行有毒文本生成。激活修补是一种控制LLM输出的技术，通过修改特定神经元的激活值来引导LLM生成期望的文本。实验中，使用了ParaDetox和SST-2数据集作为中性文本的来源，并采用标准的文本分类指标（如准确率、F1值）来评估解毒模型的性能。具体参数设置和损失函数细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，使用LLM生成的合成有毒数据训练的解毒模型，其性能比使用人工标注数据训练的模型下降高达30%。这表明当前LLM在生成多样化、高质量的有毒文本方面存在显著局限性，尤其是在词汇多样性方面。该研究强调了人工标注数据在构建鲁棒解毒系统中的重要性。

🎯 应用场景

该研究结果对文本解毒、内容审核、以及其他需要处理有害信息的领域具有潜在应用价值。虽然当前LLM生成的有毒数据效果不佳，但未来的研究可以探索改进LLM生成多样化毒性文本的方法，从而降低对人工标注的依赖，提升相关应用的效果。

📄 摘要（原文）

Modern Large Language Models (LLMs) are excellent at generating synthetic data. However, their performance in sensitive domains such as text detoxification has not received proper attention from the scientific community. This paper explores the possibility of using LLM-generated synthetic toxic data as an alternative to human-generated data for training models for detoxification. Using Llama 3 and Qwen activation-patched models, we generated synthetic toxic counterparts for neutral texts from ParaDetox and SST-2 datasets. Our experiments show that models fine-tuned on synthetic data consistently perform worse than those trained on human data, with a drop in performance of up to 30% in joint metrics. The root cause is identified as a critical lexical diversity gap: LLMs generate toxic content using a small, repetitive vocabulary of insults that fails to capture the nuances and variety of human toxicity. These findings highlight the limitations of current LLMs in this domain and emphasize the continued importance of diverse, human-annotated data for building robust detoxification systems.