Promoting Online Safety by Simulating Unsafe Conversations with LLMs

📄 arXiv: 2507.22267v1 📥 PDF

作者: Owen Hoffman, Kangze Peng, Zehua You, Sajid Kamal, Sukrit Venkatagiri

分类: cs.HC, cs.AI

发布日期: 2025-07-29

期刊: ACM 2025 Conference on Conversational User Interfaces Workshop on Personas Evolved: Designing Ethical LLM-Based Conversational Agent Personalities

💡 一句话要点

利用LLM模拟不安全对话，提升在线安全意识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线安全 大型语言模型 诈骗模拟 交互式学习 安全教育

📋 核心要点

  1. 现有在线安全教育方法难以应对LLM驱动的、更具欺骗性和规模化的不安全对话。
  2. 利用两个LLM模拟诈骗对话，一个扮演诈骗者，另一个扮演受害者，创造逼真的互动场景。
  3. 用户对受害者LLM的行为提供反馈，从而学习识别和应对潜在的在线诈骗。

📝 摘要（中文）

生成式人工智能，包括大型语言模型（LLM），正在并有潜力加速、扩大和丰富在线不安全对话的类型和规模。LLM降低了不良行为者制造不安全对话的门槛，尤其因为它们能够生成具有说服力且类人的文本。本研究探索了通过教育人们关于在线（无论是否使用LLM）可能发生的不安全对话来促进在线安全的方法。我们基于先前研究，该研究表明LLM可以成功模拟诈骗对话。我们还利用学习科学的研究，表明对假设行为提供反馈可以促进学习。具体而言，我们专注于使用LLM模拟诈骗对话。我们的工作结合了两个相互对话的LLM，以模拟用户可能在线遇到的诈骗者LLM和目标LLM之间逼真的不安全对话，并要求用户向目标LLM提供反馈。

🔬 方法详解

问题定义：论文旨在解决如何有效提升用户识别和应对LLM驱动的在线诈骗的能力。现有方法难以模拟真实诈骗场景，且缺乏个性化反馈，导致学习效果不佳。

核心思路：利用LLM的生成能力，构建一个动态的诈骗对话模拟环境。通过让两个LLM分别扮演诈骗者和受害者，模拟真实的诈骗过程，并允许用户对受害者LLM的行为进行干预和反馈，从而提升用户的安全意识和应对能力。

技术框架：该系统包含两个LLM，分别扮演诈骗者（Scammer LLM）和目标（Target LLM）。Scammer LLM负责发起和推进诈骗对话，Target LLM则模拟用户的行为，与Scammer LLM进行互动。用户可以观察对话过程，并在Target LLM做出决策时提供反馈。系统会根据用户的反馈，评估Target LLM的行为是否安全，并给出相应的建议。

关键创新：该研究的关键创新在于利用LLM构建了一个交互式的在线安全教育平台。与传统的静态教程或案例分析相比，该平台能够提供更加逼真和个性化的学习体验。通过模拟真实的诈骗场景，用户可以更好地理解诈骗者的策略和受害者的心理，从而提升自身的安全意识和应对能力。

关键设计：论文中没有明确给出关键参数设置、损失函数或网络结构的细节。但可以推测，LLM的选择（例如，GPT-3, LaMDA等）以及prompt的设计对模拟效果至关重要。此外，如何评估用户反馈的有效性，并将其融入到Target LLM的学习过程中，也是一个关键的设计问题。具体的损失函数和网络结构未知。

📊 实验亮点

论文的主要亮点在于提出了一个基于LLM的交互式在线安全教育平台，能够模拟真实的诈骗对话场景，并提供个性化的反馈。虽然论文没有给出具体的性能数据，但其创新性的方法为提升在线安全意识提供了一种新的思路。用户反馈对目标LLM行为的影响程度和学习效果是未来研究的关键方向。

🎯 应用场景

该研究成果可应用于在线安全教育平台、网络安全培训课程、以及反诈骗宣传活动中。通过模拟各种不安全对话场景，帮助用户提高识别和应对网络诈骗的能力，从而减少网络诈骗的发生，保护用户财产安全。未来可扩展到其他类型的在线安全问题，如网络欺凌、虚假信息传播等。

📄 摘要（原文）

Generative AI, including large language models (LLMs) have the potential -- and already are being used -- to increase the speed, scale, and types of unsafe conversations online. LLMs lower the barrier for entry for bad actors to create unsafe conversations in particular because of their ability to generate persuasive and human-like text. In our current work, we explore ways to promote online safety by teaching people about unsafe conversations that can occur online with and without LLMs. We build on prior work that shows that LLMs can successfully simulate scam conversations. We also leverage research in the learning sciences that shows that providing feedback on one's hypothetical actions can promote learning. In particular, we focus on simulating scam conversations using LLMs. Our work incorporates two LLMs that converse with each other to simulate realistic, unsafe conversations that people may encounter online between a scammer LLM and a target LLM but users of our system are asked provide feedback to the target LLM.