Bot Wars Evolved: Orchestrating Competing LLMs in a Counterstrike Against Phone Scams
作者: Nardine Basta, Conor Atkins, Dali Kaafar
分类: cs.CL, cs.AI
发布日期: 2025-03-10
期刊: Pacific-Asia Conference on Knowledge Discovery and Data Mining, PAKDD 2025
💡 一句话要点
提出Bot Wars框架，利用LLM对抗电话诈骗，实现策略涌现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 电话诈骗 对抗对话 思维链推理 策略涌现
📋 核心要点
- 现有方法难以有效应对电话诈骗中复杂且动态的对抗策略。
- Bot Wars框架通过LLM模拟对抗对话，利用思维链推理实现策略的自动涌现。
- 实验表明，该框架能有效捕捉对抗动态，GPT-4和Deepseek在不同指标上表现优异。
📝 摘要（中文）
本文提出了“Bot Wars”框架，该框架利用大型语言模型（LLM）作为诱饵，通过模拟对抗性对话来对抗电话诈骗。其主要贡献在于为策略涌现提供了一个正式的基础，通过思维链推理实现，无需显式优化。通过一种新颖的双层提示架构，该框架使LLM能够创建具有人口统计学真实性的受害者角色，同时保持战略一致性。我们使用包含3200个诈骗对话的数据集评估了我们的方法，该数据集已针对179小时的人工诱骗互动进行了验证，证明了其在捕捉复杂对抗动态方面的有效性。通过认知、定量和内容特定指标的系统评估表明，GPT-4在对话自然性和角色真实性方面表现出色，而Deepseek在参与可持续性方面表现更优。
🔬 方法详解
问题定义：论文旨在解决电话诈骗日益猖獗的问题，现有方法难以有效模拟诈骗者和受害者之间的复杂互动，也缺乏有效的策略来对抗这些诈骗行为。传统的反诈骗手段往往是被动防御，无法主动出击，诱导诈骗者暴露其策略和弱点。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力和推理能力，构建一个模拟的对抗环境，让不同的LLM扮演诈骗者和受害者，通过对话互动来揭示诈骗策略，并寻找反制方法。这种方法的核心在于让LLM在没有明确优化目标的情况下，通过思维链推理自动涌现出有效的对抗策略。
技术框架：Bot Wars框架采用双层提示架构。第一层提示负责构建具有人口统计学特征的受害者角色，确保角色设定的真实性和多样性。第二层提示则引导LLM进行思维链推理，制定对话策略，并根据对话进展进行调整。整个框架通过模拟大量的对话互动，收集数据并分析不同LLM的表现，从而评估其在对话自然性、角色真实性和参与可持续性等方面的能力。
关键创新：该论文的关键创新在于其策略涌现机制，即通过思维链推理，让LLM在没有明确优化目标的情况下，自动学习和进化出有效的对抗策略。这种方法避免了传统方法中需要人工设计策略的局限性，能够更好地适应不断变化的诈骗手段。此外，双层提示架构的设计也保证了角色设定的真实性和策略执行的连贯性。
关键设计：在角色设定方面，论文使用了包含人口统计学信息的提示，以确保受害者角色的多样性和真实性。在思维链推理方面，论文设计了特定的提示语，引导LLM进行逐步推理，并根据对话历史调整策略。此外，论文还定义了一系列认知、定量和内容特定的指标，用于评估不同LLM的表现，例如对话自然性、角色真实性和参与可持续性等。具体的参数设置和损失函数等技术细节在论文中未明确说明，属于未知内容。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-4在对话自然性和角色真实性方面表现出色，能够生成更逼真的对话内容。Deepseek则在参与可持续性方面表现更优，能够更长时间地维持对话。通过对3200个诈骗对话的分析，验证了该框架在捕捉复杂对抗动态方面的有效性。该数据集基于179小时的人工诱骗互动，具有较高的参考价值。
🎯 应用场景
该研究成果可应用于开发更智能的反诈骗系统，通过模拟对抗对话来训练反诈骗模型，提高其识别和应对诈骗行为的能力。此外，该框架还可以用于评估不同LLM在对抗环境下的表现，为选择合适的LLM用于安全应用提供参考。未来，该技术有望应用于更广泛的网络安全领域，例如对抗恶意软件和网络钓鱼。
📄 摘要（原文）
We present "Bot Wars," a framework using Large Language Models (LLMs) scam-baiters to counter phone scams through simulated adversarial dialogues. Our key contribution is a formal foundation for strategy emergence through chain-of-thought reasoning without explicit optimization. Through a novel two-layer prompt architecture, our framework enables LLMs to craft demographically authentic victim personas while maintaining strategic coherence. We evaluate our approach using a dataset of 3,200 scam dialogues validated against 179 hours of human scam-baiting interactions, demonstrating its effectiveness in capturing complex adversarial dynamics. Our systematic evaluation through cognitive, quantitative, and content-specific metrics shows that GPT-4 excels in dialogue naturalness and persona authenticity, while Deepseek demonstrates superior engagement sustainability.