MultiPhishGuard: An LLM-based Multi-Agent System for Phishing Email Detection

📄 arXiv: 2505.23803v1 📥 PDF

作者: Yinuo Xue, Eric Spero, Yun Sing Koh, Giovanni Russello

分类: cs.CR, cs.AI

发布日期: 2025-05-26

💡 一句话要点

提出MultiPhishGuard，一种基于LLM多智能体系统的钓鱼邮件检测方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 钓鱼邮件检测 多智能体系统 大型语言模型 强化学习 对抗训练 网络安全 近端策略优化

📋 核心要点

  1. 现有钓鱼邮件检测方法难以适应不断演变的对抗策略和新型攻击模式，导致检测精度不足和安全风险。
  2. MultiPhishGuard采用基于LLM的多智能体系统，通过智能体间的协作和对抗训练，提升钓鱼邮件检测的鲁棒性和准确性。
  3. 实验结果表明，MultiPhishGuard在准确率、误报率和漏报率方面均优于现有方法，并提供易于理解的解释。

📝 摘要（中文）

钓鱼邮件检测面临着对抗策略演变和异构攻击模式的严峻挑战。传统检测方法（如基于规则的过滤器和黑名单）难以跟上这些演变，导致误报和安全漏洞。虽然机器学习方法提高了检测精度，但仍难以适应新的钓鱼策略。我们提出了MultiPhishGuard，一个基于LLM的动态多智能体检测系统，它将专业知识与对抗感知强化学习相结合。我们的框架采用五个协作智能体（文本、URL、元数据、解释简化器和对抗智能体），并通过近端策略优化强化学习算法自动调整决策权重。为了应对新兴威胁，我们引入了一个对抗训练循环，其中对抗智能体生成微妙的上下文感知邮件变体，创建一个自我改进的防御生态系统，并增强系统鲁棒性。在公共数据集上的实验评估表明，MultiPhishGuard显著优于Chain-of-Thoughts、单智能体基线和最先进的检测器，并通过消融研究和比较分析验证了这一点。实验表明，MultiPhishGuard实现了高精度（97.89%），低误报率（2.73%）和低漏报率（0.20%）。此外，我们还加入了解释简化器智能体，为用户提供清晰易懂的解释，说明为什么电子邮件被分类为钓鱼邮件或合法邮件。这项工作通过动态多智能体协作和生成对抗弹性推进了钓鱼防御。

🔬 方法详解

问题定义：论文旨在解决传统钓鱼邮件检测方法难以有效应对新型和不断变化的钓鱼攻击策略的问题。现有方法，如基于规则的过滤和机器学习模型，在面对对抗性攻击和复杂邮件内容时，容易出现高误报率和漏报率，无法提供充分的安全保障。

核心思路：论文的核心思路是利用大型语言模型（LLM）构建一个多智能体系统，每个智能体负责分析邮件的不同方面（文本、URL、元数据等），并通过强化学习动态调整各个智能体的决策权重。此外，引入对抗训练机制，使系统能够适应和防御新型钓鱼攻击。

技术框架：MultiPhishGuard包含五个主要智能体：文本智能体、URL智能体、元数据智能体、解释简化器智能体和对抗智能体。文本智能体分析邮件内容，URL智能体检查链接安全性，元数据智能体分析邮件头等信息。解释简化器智能体将复杂的决策过程转化为用户易于理解的解释。对抗智能体生成对抗样本，用于训练其他智能体，提高其鲁棒性。系统使用近端策略优化（PPO）算法，根据各个智能体的表现动态调整其决策权重。

关键创新：该论文的关键创新在于将LLM应用于多智能体系统，并引入对抗训练机制。多智能体架构允许系统从多个角度分析邮件，提高检测精度。对抗训练使系统能够适应和防御新型钓鱼攻击，增强了系统的鲁棒性。解释简化器智能体的加入，提高了系统的可解释性，方便用户理解和信任检测结果。

关键设计：对抗智能体通过生成上下文相关的邮件变体来模拟真实攻击，这些变体旨在欺骗其他智能体。PPO算法用于优化各个智能体的决策权重，目标是最大化整体检测精度，同时最小化误报率和漏报率。解释简化器智能体使用LLM将复杂的决策过程转化为简洁明了的自然语言解释。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MultiPhishGuard在公共数据集上取得了显著的性能提升，准确率达到97.89%，误报率仅为2.73%，漏报率仅为0.20%。与Chain-of-Thoughts、单智能体基线和最先进的检测器相比，MultiPhishGuard在各项指标上均表现更优，证明了其在钓鱼邮件检测方面的有效性和优越性。消融实验验证了各个智能体和对抗训练机制对系统性能的贡献。

🎯 应用场景

MultiPhishGuard可应用于企业、政府机构和个人用户的邮件安全防护系统，有效降低钓鱼邮件攻击的风险。该系统能够自动适应新型攻击策略，提供高精度、高鲁棒性的检测服务，并为用户提供易于理解的解释，增强用户对系统的信任。未来可扩展到其他网络安全领域，如恶意软件检测和网络入侵防御。

📄 摘要（原文）

Phishing email detection faces critical challenges from evolving adversarial tactics and heterogeneous attack patterns. Traditional detection methods, such as rule-based filters and denylists, often struggle to keep pace with these evolving tactics, leading to false negatives and compromised security. While machine learning approaches have improved detection accuracy, they still face challenges adapting to novel phishing strategies. We present MultiPhishGuard, a dynamic LLM-based multi-agent detection system that synergizes specialized expertise with adversarial-aware reinforcement learning. Our framework employs five cooperative agents (text, URL, metadata, explanation simplifier, and adversarial agents) with automatically adjusted decision weights powered by a Proximal Policy Optimization reinforcement learning algorithm. To address emerging threats, we introduce an adversarial training loop featuring an adversarial agent that generates subtle context-aware email variants, creating a self-improving defense ecosystem and enhancing system robustness. Experimental evaluations on public datasets demonstrate that MultiPhishGuard significantly outperforms Chain-of-Thoughts, single-agent baselines and state-of-the-art detectors, as validated by ablation studies and comparative analyses. Experiments demonstrate that MultiPhishGuard achieves high accuracy (97.89\%) with low false positive (2.73\%) and false negative rates (0.20\%). Additionally, we incorporate an explanation simplifier agent, which provides users with clear and easily understandable explanations for why an email is classified as phishing or legitimate. This work advances phishing defense through dynamic multi-agent collaboration and generative adversarial resilience.