PreScam: A Benchmark for Predicting Scam Progression from Early Conversations
作者: Weixiang Sun, Shang Ma, Yiyang Li, Tianyi Ma, Zehong Wang, Colby Nelson, Xusheng Xiao, Yanfang Ye
分类: cs.CL
发布日期: 2026-05-12
💡 一句话要点
PreScam：一个基于早期对话预测诈骗进展的基准数据集
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 会话式诈骗 诈骗检测 自然语言处理 基准数据集 诈骗进展建模
📋 核心要点
- 现有研究缺乏对真实会话式诈骗进展的建模，难以理解诈骗者如何随时间演变其操纵策略。
- PreScam通过构建大规模真实诈骗对话数据集，并提出诈骗杀伤链，对诈骗生命周期进行分层结构化。
- 实验表明，现有模型在理解诈骗进展和预测诈骗者行为方面仍存在挑战，需要更深入的建模。
📝 摘要（中文）
会话式诈骗，如情感和投资诈骗，正成为一种主要的在线欺诈形式。与虚假彩票或未付通行费等一次性诈骗诱饵不同，它们通过多轮对话展开，诈骗者使用不断演变的心理技巧逐步操纵受害者。然而，现有研究主要集中在静态诈骗检测或合成诈骗上，语言模型是否能理解真实世界中诈骗如何随时间推移而发展仍未可知。我们引入PreScam，一个用于建模早期对话中诈骗进展的基准。PreScam由用户提交的诈骗报告构建，将177,989份原始报告过滤并结构化为11,573个会话式诈骗实例，涵盖20个诈骗类别。每个实例根据提出的诈骗杀伤链定义的诈骗生命周期进行分层结构化，并在turn级别上用诈骗者的心理行为和受害者的反应进行标注。我们在两个任务上对模型进行基准测试：实时终止预测（估计对话是否接近终止阶段）和诈骗者行为预测（预测诈骗者后续行为）。结果表明，表面流畅性和进展建模之间存在明显差距：监督编码器在实时终止预测方面明显优于零样本LLM，而即使对于强大的LLM，下一步行动预测仍然只是中等成功。总而言之，这些结果表明，当前模型可以捕获一些与诈骗相关的线索，但仍然难以跟踪风险如何升级以及操纵如何在回合中展开。
🔬 方法详解
问题定义：论文旨在解决现有研究缺乏对真实会话式诈骗进展建模的问题。现有方法主要集中于静态诈骗检测或合成诈骗，无法有效理解和预测诈骗者在多轮对话中的行为演变，以及风险的逐步升级。
核心思路：论文的核心思路是构建一个大规模、结构化的真实诈骗对话数据集，并基于此提出两个任务：实时终止预测和诈骗者行为预测。通过分析模型在这些任务上的表现，评估模型对诈骗进展的理解能力。数据集的构建和任务的设计旨在模拟真实诈骗场景，并鼓励模型学习诈骗者操纵技巧随时间的变化。
技术框架：PreScam数据集的构建流程包括：1) 从用户提交的诈骗报告中过滤和结构化数据；2) 基于提出的诈骗杀伤链对每个诈骗实例进行分层结构化；3) 在turn级别上标注诈骗者的心理行为和受害者的反应。基准测试包括两个任务：1) 实时终止预测：预测对话是否接近终止阶段；2) 诈骗者行为预测：预测诈骗者下一步行动。使用监督编码器和零样本LLM等模型进行评估。
关键创新：论文的关键创新在于：1) 构建了大规模的真实会话式诈骗数据集PreScam，填补了现有研究在真实诈骗数据上的空白；2) 提出了诈骗杀伤链的概念，用于对诈骗生命周期进行分层结构化，为诈骗进展建模提供了理论基础；3) 设计了实时终止预测和诈骗者行为预测两个任务，用于评估模型对诈骗进展的理解能力。
关键设计：诈骗杀伤链定义了诈骗的各个阶段，用于指导数据集的标注和结构化。数据集的标注包括诈骗者的心理行为（例如，奉承、威胁）和受害者的反应（例如，同意、拒绝）。实时终止预测任务使用二元分类，预测对话是否接近终止。诈骗者行为预测任务预测诈骗者下一步行动的类别。实验中使用了多种模型，包括监督编码器（例如，BERT）和零样本LLM（例如，GPT-3）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，监督编码器在实时终止预测任务上优于零样本LLM，表明监督学习方法能够有效捕捉诈骗对话中的关键信号。然而，即使是强大的LLM在诈骗者行为预测任务上的表现也仅为中等水平，表明现有模型在理解诈骗进展和预测诈骗者行为方面仍存在较大提升空间。
🎯 应用场景
PreScam数据集和相关研究可应用于开发更有效的诈骗检测和预防系统。通过理解诈骗进展和预测诈骗者行为，可以及早识别潜在的诈骗受害者，并采取干预措施。此外，该研究还可以用于提高公众对会话式诈骗的认识，帮助人们更好地识别和防范此类诈骗。
📄 摘要（原文）
Conversational scams, such as romance and investment scams, are emerging as a major form of online fraud. Unlike one-shot scam lures such as fake lottery or unpaid toll messages, they unfold through multi-turn conversations in which scammers gradually manipulate victims using evolving psychological techniques. However, existing research mainly focuses on static scam detection or synthetic scams, leaving open whether language models can understand how real-world scams progress over time. We introduce PreScam, a benchmark for modeling scam progression from early conversations. Built from user-submitted scam reports, PreScam filters and structures 177,989 raw reports into 11,573 conversational scam instances spanning 20 scam categories. Each instance is hierarchically structured according to the scam lifecycle defined by the proposed scam kill chain, and further annotated at the turn level with scammer psychological actions and victim responses. We benchmark models on two tasks: real-time termination prediction, which estimates whether a conversation is approaching the termination stage, and scammer action prediction, which forecasts the scammer's subsequent actions. Results show a clear gap between surface-level fluency and progression modeling: supervised encoders substantially outperform zero-shot LLMs on real-time termination prediction, while next-action prediction remains only moderately successful even for strong LLMs. Taken together, these results show that current models can capture some scam-related cues, yet still struggle to track how risk escalates and how manipulation unfolds across turns.