Improving Phishing Email Detection Performance of Small Large Language Models

📄 arXiv: 2505.00034v2 📥 PDF

作者: Zijie Lin, Zikang Liu, Hanbo Fan

分类: cs.CL, cs.AI

发布日期: 2025-04-29 (更新: 2025-05-03)

💡 一句话要点

提出Prompt工程、解释增强微调和模型集成方法，提升小型LLM在钓鱼邮件检测中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 钓鱼邮件检测 小型语言模型 Prompt工程 解释增强微调 模型集成 自然语言处理 邮件安全

📋 核心要点

  1. 现有钓鱼邮件检测研究依赖大型LLM，计算资源需求高昂，小型LLM性能不足。
  2. 论文提出Prompt工程、解释增强微调和模型集成，提升小型LLM的检测能力。
  3. 实验表明，该方法显著提升了准确率和F1分数，并具有良好的跨数据集迁移能力。

📝 摘要（中文）

大型语言模型(LLMs)在许多自然语言处理(NLP)任务中表现出色，并已被应用于钓鱼邮件检测研究。然而，目前表现良好的LLMs通常包含数十亿甚至数百亿个参数，需要巨大的计算资源。为了降低计算成本，我们研究了小参数LLMs在钓鱼邮件检测中的有效性。这些LLMs大约有30亿个参数，可以在消费级GPU上运行。然而，小型LLMs在钓鱼邮件检测任务中通常表现不佳。为了解决这些问题，我们设计了一套方法，包括Prompt工程、解释增强微调和模型集成，以提高小型LLMs的钓鱼邮件检测能力。我们通过实验验证了我们方法的有效性，显著提高了SpamAssassin和CEAS_08数据集上的准确率和F1分数。此外，微调后的模型表现出强大的迁移能力，在多个未见过的钓鱼数据集上实现了稳健的性能，优于传统基线方法，并接近标准尺寸的LLMs。

🔬 方法详解

问题定义：论文旨在解决小型语言模型（参数量约30亿）在钓鱼邮件检测任务中性能不足的问题。现有方法依赖于大型语言模型，计算成本高昂，难以在资源受限的环境中部署。小型LLM虽然降低了计算成本，但其检测精度往往无法满足实际需求。

核心思路：论文的核心思路是通过一系列技术手段，充分挖掘小型LLM的潜力，使其在钓鱼邮件检测任务中达到甚至超越传统基线方法和接近标准尺寸LLM的性能。这些技术手段包括Prompt工程、解释增强微调和模型集成，旨在提高模型的理解能力、泛化能力和鲁棒性。

技术框架：整体框架包含三个主要阶段：1) Prompt工程：设计有效的Prompt，引导LLM更好地理解和执行钓鱼邮件检测任务。2) 解释增强微调：利用解释信息（例如，钓鱼邮件的特征词）来增强模型的微调过程，提高模型对钓鱼邮件的识别能力。3) 模型集成：将多个微调后的模型集成起来，利用集成的优势进一步提高检测性能。

关键创新：论文的关键创新在于将Prompt工程、解释增强微调和模型集成三种技术相结合，并应用于小型LLM的钓鱼邮件检测任务中。解释增强微调是核心创新点，它利用了钓鱼邮件的特征信息，有针对性地提升了模型的检测能力。

关键设计：在Prompt工程中，设计了清晰明确的指令，引导模型识别钓鱼邮件。在解释增强微调中，使用了包含钓鱼邮件特征词的训练数据，并可能使用了特定的损失函数来鼓励模型关注这些特征。模型集成采用了简单的平均集成方法，将多个模型的预测结果进行平均。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法显著提高了小型LLM在SpamAssassin和CEAS_08数据集上的准确率和F1分数。微调后的模型在多个未见过的钓鱼数据集上表现出强大的迁移能力，优于传统基线方法，并接近标准尺寸的LLMs。这些结果验证了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于各种邮件安全产品和服务中，例如邮件网关、邮件客户端等，能够有效提升钓鱼邮件的检测精度，降低用户遭受钓鱼攻击的风险。该方法降低了对计算资源的需求，使得在资源受限的环境中部署高性能的钓鱼邮件检测系统成为可能，具有重要的实际应用价值。

📄 摘要（原文）

Large language models(LLMs) have demonstrated remarkable performance on many natural language processing(NLP) tasks and have been employed in phishing email detection research. However, in current studies, well-performing LLMs typically contain billions or even tens of billions of parameters, requiring enormous computational resources. To reduce computational costs, we investigated the effectiveness of small-parameter LLMs for phishing email detection. These LLMs have around 3 billion parameters and can run on consumer-grade GPUs. However, small LLMs often perform poorly in phishing email detection task. To address these issues, we designed a set of methods including Prompt Engineering, Explanation Augmented Fine-tuning, and Model Ensemble to improve phishing email detection capabilities of small LLMs. We validated the effectiveness of our approach through experiments, significantly improving both accuracy and F1 score on the SpamAssassin and CEAS_08 datasets. Furthermore, the fine-tuned models demonstrated strong transferability, achieving robust performance across multiple unseen phishing datasets, outperforming traditional baselines and approaching standard-sized LLMs.