Understanding Interpretation Difficulty in Harmful Online Communication: Insights from Cybercrime Communities
作者: Tomohiro Okatsu, Naoki Takada, Yin Min Pa Pa, Katsunari Yoshioka, Tatsunori Mori
分类: cs.CL, cs.CY
发布日期: 2026-07-08
💡 一句话要点
提出对网络犯罪社区有害通信的理解方法以解决解读困难问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 有害在线交流 网络犯罪 信息解读 大型语言模型 上下文分析 社交媒体监控
📋 核心要点
- 核心问题：有害在线交流中的俚语和社区特定表达使得信息解读困难，现有方法未能有效解决这一问题。
- 方法要点：构建参考解读并评估人类与LLM在不同上下文下的解读能力，强调外部知识和扩展上下文的重要性。
- 实验或效果：研究发现，局部上下文不足以支持人类解读，而外部知识显著提升了解读效果，LLM的表现也随模型规模提升。
📝 摘要（中文）
有害的在线交流通常包含俚语、编码术语、缩写和特定社区的表达方式，使得信息难以解读。本文对与网络犯罪相关的Discord聊天中的解读困难进行了探索性研究。我们构建了经过专家审查的难解消息的参考解读，并用其评估人类与大型语言模型（LLM）在不同上下文条件下的解读能力。结果表明，仅依赖局部上下文通常不足以帮助人类，而外部知识和扩展的对话上下文显著改善了解读效果。对于LLM，局部上下文也能提高解读能力，且更大的模型表现更佳。我们进一步进行了定性错误分析，并提出了导致有害聊天难以解读的因素的初步分类。这些发现表明，有害内容分析应将解读视为证据整合问题，而不仅仅是消息级别的分类。
🔬 方法详解
问题定义：本文旨在解决有害在线交流中信息解读的困难，现有方法往往无法有效处理俚语和特定表达，导致解读不准确。
核心思路：通过构建专家审查的参考解读，评估人类与大型语言模型在不同上下文条件下的解读能力，强调外部知识和扩展上下文的作用。
技术框架：研究首先选择难解消息，构建参考解读，然后在不同上下文条件下进行人类与LLM的解读评估，最后进行定性错误分析和因素分类。
关键创新：提出将解读视为证据整合问题，而非仅仅是消息级别的分类，强调了上下文和外部知识的重要性。
关键设计：在评估过程中，设置了不同的上下文条件，并比较了不同规模的LLM在解读任务中的表现，发现更大的模型在解读能力上有显著提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，局部上下文对人类解读的帮助有限，而外部知识和扩展上下文显著提高了解读准确性。对于LLM，较大的模型在解读任务中表现更佳，显示出模型规模与解读能力之间的正相关性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、社交媒体监控和在线内容审核等。通过改善对有害内容的解读能力，可以更有效地识别和应对网络犯罪行为，提升在线交流的安全性和健康性。未来，该方法可能为其他领域的文本分析提供借鉴。
📄 摘要（原文）
Harmful online communication often contains slang, coded terms, abbreviations, and community-specific expressions, which make messages difficult to interpret. This paper presents an exploratory study of interpretation difficulty in Discord chats related to cybercrime. We construct reference interpretations of purposefully selected difficult messages, which were reviewed by an expert. We then use them to evaluate human and large language model (LLM) interpretations under different context conditions. The results show that local context alone is often insufficient for humans, while external knowledge and extended conversational context substantially improve human interpretation. For LLMs, local context also improves interpretation, and the larger model performs better. We further conduct a qualitative error analysis and propose a preliminary classification of factors that make harmful chats difficult to interpret. These findings suggest that harmful-content analysis should treat interpretation as an evidence-integration problem, rather than as message-level classification alone.