Deep Reinforcement Learning for Phishing Detection with Transformer-Based Semantic Features

📄 arXiv: 2512.06925v1 📥 PDF

作者: Aseer Al Faisal

分类: cs.LG, cs.AI, cs.CR

发布日期: 2025-12-07

💡 一句话要点

提出基于Transformer语义特征的QR-DQN深度强化学习方法，用于提升钓鱼网站检测的准确性和泛化性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 钓鱼网站检测 深度强化学习 分位数回归 RoBERTa 语义特征 网络安全 URL分析

📋 核心要点

  1. 现有钓鱼网站检测方法在面对新型攻击时泛化能力不足，难以有效应对不断演变的攻击策略。
  2. 提出结合RoBERTa语义嵌入和手工词汇特征的QR-DQN方法，利用分位数回归建模回报分布，提升模型稳定性和泛化性。
  3. 实验结果表明，该方法在准确率、精确率、召回率和F1分数上均表现出色，显著降低了泛化差距，提高了鲁棒性。

📝 摘要（中文）

本研究提出了一种基于分位数回归深度Q网络（QR-DQN）的方法，该方法结合了RoBERTa语义嵌入和手工设计的词汇特征，以增强钓鱼网站检测能力，同时考虑不确定性。与估计单一标量Q值的传统DQN方法不同，QR-DQN利用分位数回归来建模回报的分布，从而提高在未见过的钓鱼数据上的稳定性和泛化能力。研究从PhishTank、OpenPhish、Cloudflare等来源收集了包含105,000个URL的多样化数据集，并使用80/20的训练/测试集划分评估模型。QR-DQN框架实现了99.86%的测试准确率、99.75%的精确率、99.96%的召回率和99.85%的F1分数，表现出很高的有效性。与仅使用词汇特征的标准DQN相比，混合QR-DQN（词汇和语义特征）将泛化差距从1.66%降低到0.04%，表明鲁棒性得到了显著提高。五折交叉验证证实了模型的可靠性，平均准确率为99.90%，标准差为0.04%。这些结果表明，所提出的混合方法能够有效地识别钓鱼威胁，适应不断变化的攻击策略，并很好地泛化到未见过的数据。

🔬 方法详解

问题定义：该论文旨在解决钓鱼网站检测问题，现有方法主要依赖人工特征或简单的机器学习模型，难以有效捕捉钓鱼网站的复杂语义信息，并且泛化能力较差，容易受到新型攻击的威胁。传统DQN方法在处理此类问题时，仅估计单一Q值，无法有效建模回报的不确定性，影响了模型的稳定性和鲁棒性。

核心思路：论文的核心思路是将深度强化学习与自然语言处理技术相结合，利用RoBERTa模型提取URL的语义特征，并将其与手工设计的词汇特征融合，作为QR-DQN的输入。通过QR-DQN建模回报的分布，从而更好地处理不确定性，提高模型的泛化能力和鲁棒性。这种混合方法旨在充分利用语义信息和传统特征的优势，提升钓鱼网站检测的准确性和适应性。

技术框架：整体框架包括以下几个主要模块：1) 数据预处理：对URL进行清洗和标准化处理。2) 特征提取：使用RoBERTa模型提取URL的语义嵌入，并提取手工设计的词汇特征。3) QR-DQN模型：构建基于分位数回归的深度Q网络，输入为语义和词汇特征的融合，输出为不同分位点上的Q值。4) 训练与评估：使用收集到的钓鱼网站数据集训练QR-DQN模型，并使用独立的测试集评估模型的性能。

关键创新：该论文的关键创新在于将分位数回归引入到DQN中，用于建模回报的分布。与传统的DQN方法相比，QR-DQN能够更好地处理不确定性，提高模型的稳定性和泛化能力。此外，将RoBERTa语义嵌入与手工词汇特征相结合，能够更全面地捕捉URL的特征信息，提升钓鱼网站检测的准确性。

关键设计：QR-DQN的网络结构采用多层感知机（MLP），输入层为融合后的语义和词汇特征，输出层为多个分位点上的Q值。损失函数采用分位数回归损失函数，用于衡量预测Q值与实际回报之间的差异。训练过程中，使用经验回放机制存储和采样经验数据，以提高训练的稳定性和效率。RoBERTa模型采用预训练模型，并在钓鱼网站数据集上进行微调，以适应特定任务。

📊 实验亮点

实验结果表明，提出的QR-DQN方法在钓鱼网站检测任务上取得了显著的性能提升。在包含105,000个URL的数据集上，该方法实现了99.86%的测试准确率、99.75%的精确率、99.96%的召回率和99.85%的F1分数。与仅使用词汇特征的标准DQN相比，混合QR-DQN将泛化差距从1.66%降低到0.04%，表明鲁棒性得到了显著提高。五折交叉验证结果显示，平均准确率为99.90%，标准差为0.04%，验证了模型的可靠性。

🎯 应用场景

该研究成果可应用于网络安全领域，用于提升反钓鱼系统的性能，保护用户免受钓鱼攻击的侵害。该方法可以集成到浏览器插件、邮件客户端、安全网关等产品中，实时检测和阻止钓鱼网站，降低用户遭受经济损失的风险。此外，该方法还可以扩展到其他网络安全领域，如恶意软件检测、垃圾邮件过滤等。

📄 摘要（原文）

Phishing is a cybercrime in which individuals are deceived into revealing personal information, often resulting in financial loss. These attacks commonly occur through fraudulent messages, misleading advertisements, and compromised legitimate websites. This study proposes a Quantile Regression Deep Q-Network (QR-DQN) approach that integrates RoBERTa semantic embeddings with handcrafted lexical features to enhance phishing detection while accounting for uncertainties. Unlike traditional DQN methods that estimate single scalar Q-values, QR-DQN leverages quantile regression to model the distribution of returns, improving stability and generalization on unseen phishing data. A diverse dataset of 105,000 URLs was curated from PhishTank, OpenPhish, Cloudflare, and other sources, and the model was evaluated using an 80/20 train-test split. The QR-DQN framework achieved a test accuracy of 99.86%, precision of 99.75%, recall of 99.96%, and F1-score of 99.85%, demonstrating high effectiveness. Compared to standard DQN with lexical features, the hybrid QR-DQN with lexical and semantic features reduced the generalization gap from 1.66% to 0.04%, indicating significant improvement in robustness. Five-fold cross-validation confirmed model reliability, yielding a mean accuracy of 99.90% with a standard deviation of 0.04%. These results suggest that the proposed hybrid approach effectively identifies phishing threats, adapts to evolving attack strategies, and generalizes well to unseen data.