SeGA: Preference-Aware Self-Contrastive Learning with Prompts for Anomalous User Detection on Twitter

📄 arXiv: 2312.11553v1 📥 PDF

作者: Ying-Ying Chang, Wei-Yao Wang, Wen-Chih Peng

分类: cs.SI, cs.AI, cs.CL, cs.LG

发布日期: 2023-12-17

备注: AAAI 2024 Main Track

🔗 代码/项目: GITHUB

💡 一句话要点

SeGA：利用偏好感知自对比学习和提示，用于Twitter上的异常用户检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异常用户检测 自对比学习 用户偏好 大型语言模型 社交媒体安全 提示学习 伪标签

📋 核心要点

  1. 现有异常用户检测方法难以捕捉模仿正常用户的恶意行为，无法有效区分用户间的细微差别。
  2. SeGA利用大型语言模型总结用户偏好，并结合提示作为伪标签，进行偏好感知的自对比学习。
  3. 在TwBNT基准测试中，SeGA显著优于现有方法，性能提升3.5%至27.6%，验证了模型设计的有效性。

📝 摘要（中文）

在快速发展的社交媒体世界中，检测异常用户已成为解决诸如虚假信息和网络欺凌等恶意活动的关键任务。随着越来越多的异常用户提高了模仿正常用户和逃避检测的能力，现有的仅关注机器人检测的方法在捕捉用户之间的细微差别方面效果不佳。为了应对这些挑战，我们提出了一种用于异常用户检测的偏好感知自对比学习方法SeGA，它利用Twitter领域中的异构实体及其关系来检测具有不同恶意策略的异常用户。SeGA利用大型语言模型的知识通过帖子总结用户偏好。此外，将用户偏好与提示相结合作为偏好感知自对比学习的伪标签，使模型能够学习描述用户行为的多方面特征。在提出的TwBNT基准上的大量实验表明，SeGA明显优于最先进的方法（+3.5％〜27.6％），并从经验上验证了模型设计和预训练策略的有效性。我们的代码和数据可在https://github.com/ying0409/SeGA公开获取。

🔬 方法详解

问题定义：论文旨在解决社交媒体中异常用户检测的问题，特别是那些能够模仿正常用户行为从而逃避传统检测方法的恶意用户。现有方法主要集中于机器人检测，无法有效捕捉用户行为中的细微差别，导致检测效果不佳。

核心思路：论文的核心思路是利用大型语言模型（LLM）提取用户偏好，并将其与提示（prompts）结合，作为自对比学习的伪标签。通过这种方式，模型能够学习到用户行为的多方面特征，从而更好地区分正常用户和异常用户。

技术框架：SeGA的整体框架包括以下几个主要模块：1) 用户偏好提取：利用LLM分析用户的帖子，提取用户偏好信息。2) 提示生成：设计合适的提示，将用户偏好转化为伪标签。3) 自对比学习：使用偏好感知的伪标签进行自对比学习，训练模型区分不同用户的行为模式。4) 异常检测：利用训练好的模型对用户进行分类，判断其是否为异常用户。

关键创新：SeGA的关键创新在于将用户偏好信息融入到自对比学习中，并利用提示作为伪标签。这种方法能够有效地利用LLM的知识，提取用户行为的深层语义信息，从而提高异常用户检测的准确率。与现有方法相比，SeGA能够更好地捕捉用户行为的细微差别，从而更有效地检测出模仿正常用户的恶意行为。

关键设计：SeGA的关键设计包括：1) 使用特定的LLM（具体模型未知）进行用户偏好提取。2) 设计合适的提示模板，将用户偏好转化为可用于自对比学习的伪标签。3) 使用对比损失函数（具体形式未知）进行自对比学习，优化模型参数。4) TwBNT基准数据集的构建，用于评估模型性能。

📊 实验亮点

SeGA在提出的TwBNT基准测试中取得了显著的性能提升，相较于最先进的方法，性能提升幅度达到3.5%至27.6%。实验结果表明，SeGA能够有效地捕捉用户行为的细微差别，从而更准确地检测出异常用户。这一结果验证了模型设计和预训练策略的有效性。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容安全管理，有效识别和打击恶意用户，例如传播虚假信息、网络欺凌等。通过提高异常用户检测的准确率，可以维护健康的社交媒体环境，保护用户免受恶意行为的侵害。未来，该技术还可扩展到其他在线社区和平台，例如电商平台、论坛等。

📄 摘要（原文）

In the dynamic and rapidly evolving world of social media, detecting anomalous users has become a crucial task to address malicious activities such as misinformation and cyberbullying. As the increasing number of anomalous users improves the ability to mimic normal users and evade detection, existing methods only focusing on bot detection are ineffective in terms of capturing subtle distinctions between users. To address these challenges, we proposed SeGA, preference-aware self-contrastive learning for anomalous user detection, which leverages heterogeneous entities and their relations in the Twittersphere to detect anomalous users with different malicious strategies. SeGA utilizes the knowledge of large language models to summarize user preferences via posts. In addition, integrating user preferences with prompts as pseudo-labels for preference-aware self-contrastive learning enables the model to learn multifaceted aspects for describing the behaviors of users. Extensive experiments on the proposed TwBNT benchmark demonstrate that SeGA significantly outperforms the state-of-the-art methods (+3.5\% ~ 27.6\%) and empirically validate the effectiveness of the model design and pre-training strategies. Our code and data are publicly available at https://github.com/ying0409/SeGA.