Towards Harmful Erotic Content Detection through Coreference-Driven Contextual Analysis
作者: Inez Okulska, Emilia Wiśnios
分类: cs.CL
发布日期: 2023-10-22
备注: Accepted for 6th Workshop on Computational Models of Reference, Anaphora and Coreference at EMNLP 2023 Conference
💡 一句话要点
提出基于共指解析的有害色情内容检测方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 有害内容检测 共指解析 混合模型 文本分类 成人内容审核
📋 核心要点
- 现有的成人内容检测方法在评估潜在危害时缺乏细致性，难以有效区分有害与无害的色情文本。
- 本文提出了一种混合神经网络与规则基础的上下文感知系统，通过共指解析识别有害上下文线索，提供了一种新的解决方案。
- 实验结果显示，基于共指链的模型在波兰文本上的准确率为84%，召回率为80%，明显优于未使用共指解析的模型。
📝 摘要（中文）
成人内容检测仍然是自动化领域的一大挑战。现有分类器主要关注于区分色情与非色情文本，但在评估潜在危害时往往缺乏细致性。由于伦理限制，大型语言模型无法分析和分类有害色情内容。本文提出了一种混合神经网络与规则基础的上下文感知系统，利用共指解析识别色情内容中的有害上下文线索。通过与专业审核员合作，构建了数据集并开发了分类器，能够区分有害与无害的色情内容。我们的混合模型在波兰文本上测试，准确率达到84%，召回率为80%。
🔬 方法详解
问题定义：本文旨在解决成人内容检测中对有害色情内容的识别问题。现有方法主要集中在区分色情与非色情文本，缺乏对潜在危害的深入分析。
核心思路：论文提出的核心思路是利用共指解析技术，分析色情文本中的上下文信息，以识别潜在的有害内容。这种方法能够捕捉到隐藏在非性部分的有害线索，提供更为细致的判断。
技术框架：整体架构包括数据集构建、共指解析模块和分类器。首先，与专业审核员合作收集数据，然后通过共指解析提取上下文信息，最后利用混合模型进行分类。
关键创新：最重要的技术创新在于引入共指解析作为识别有害色情内容的关键技术，与现有方法相比，能够更准确地捕捉文本中的细微差别。
关键设计：在模型设计中，采用了混合神经网络与规则基础的方法，设置了适当的损失函数以优化分类效果，确保了模型在处理复杂文本时的有效性。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于共指解析的混合模型在波兰文本上的准确率达到84%，召回率为80%。相比之下，未使用共指链的RoBERTa和Longformer模型表现明显较差，强调了共指解析在有害内容检测中的重要性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台、在线内容审核和青少年保护等。通过有效识别有害色情内容，能够帮助平台维护安全的网络环境，减少对用户的潜在伤害，具有重要的社会价值和实际意义。
📄 摘要（原文）
Adult content detection still poses a great challenge for automation. Existing classifiers primarily focus on distinguishing between erotic and non-erotic texts. However, they often need more nuance in assessing the potential harm. Unfortunately, the content of this nature falls beyond the reach of generative models due to its potentially harmful nature. Ethical restrictions prohibit large language models (LLMs) from analyzing and classifying harmful erotics, let alone generating them to create synthetic datasets for other neural models. In such instances where data is scarce and challenging, a thorough analysis of the structure of such texts rather than a large model may offer a viable solution. Especially given that harmful erotic narratives, despite appearing similar to harmless ones, usually reveal their harmful nature first through contextual information hidden in the non-sexual parts of the narrative. This paper introduces a hybrid neural and rule-based context-aware system that leverages coreference resolution to identify harmful contextual cues in erotic content. Collaborating with professional moderators, we compiled a dataset and developed a classifier capable of distinguishing harmful from non-harmful erotic content. Our hybrid model, tested on Polish text, demonstrates a promising accuracy of 84% and a recall of 80%. Models based on RoBERTa and Longformer without explicit usage of coreference chains achieved significantly weaker results, underscoring the importance of coreference resolution in detecting such nuanced content as harmful erotics. This approach also offers the potential for enhanced visual explainability, supporting moderators in evaluating predictions and taking necessary actions to address harmful content.