Differential Robustness in Transformer Language Models: Empirical Evaluation Under Adversarial Text Attacks

📄 arXiv: 2509.09706v1 📥 PDF

作者: Taniya Gidatkar, Oluwaseun Ajao, Matthew Shardlow

分类: cs.CR, cs.AI, cs.CL

发布日期: 2025-09-05

备注: 8 pages, 4 tables, to appear in proceedings of Recent Advances in Natural Language Processing (RANLP 2025) and ACL Anthology

💡 一句话要点

评估Transformer语言模型在对抗文本攻击下的鲁棒性差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 鲁棒性评估 Transformer模型 自然语言处理 大型语言模型

📋 核心要点

  1. 现有大型语言模型在对抗攻击下表现出不同程度的脆弱性，缺乏系统性的鲁棒性评估。
  2. 通过对抗性文本攻击，评估不同Transformer模型（Flan-T5、BERT、RoBERTa）的鲁棒性差异，揭示其内在防御机制。
  3. 实验表明RoBERTa-Base和FlanT5具有更强的鲁棒性，但现有防御机制通常需要大量计算资源。

📝 摘要（中文）

本研究评估了大型语言模型（LLM）在对抗性攻击下的鲁棒性，重点关注Flan-T5、BERT和RoBERTa-Base。通过使用TextFooler和BERTAttack系统设计的对抗性测试，我们发现模型鲁棒性存在显著差异。RoBERTa-Base和FlanT5表现出卓越的鲁棒性，即使在受到复杂攻击时也能保持准确性，攻击成功率为0%。相比之下，BERT-Base表现出相当大的脆弱性，TextFooler成功地将模型准确率从48%降低到仅3%，成功率高达93.75%。我们的研究表明，虽然某些LLM已经开发出有效的防御机制，但这些保障措施通常需要大量的计算资源。本研究通过识别当前保障方法中存在的优势和劣势，为理解LLM安全性做出了贡献，并为开发更高效和有效的防御策略提出了实用的建议。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在面对对抗性文本攻击时的鲁棒性差异。现有方法缺乏对不同LLM在相同攻击下的系统性评估，难以有效识别模型的脆弱点和防御机制的有效性。此外，现有防御方法往往计算成本高昂，限制了其在实际应用中的部署。

核心思路：论文的核心思路是通过设计和实施对抗性文本攻击，系统性地评估不同LLM的鲁棒性。通过比较不同模型在相同攻击下的表现，揭示其内在的防御机制和脆弱性。同时，分析现有防御方法的计算成本，为开发更高效的防御策略提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择目标LLM：Flan-T5、BERT-Base和RoBERTa-Base；2) 选择对抗攻击方法：TextFooler和BERTAttack；3) 设计对抗性测试：使用选定的攻击方法生成对抗样本，并输入到目标LLM中；4) 评估模型性能：测量模型在原始样本和对抗样本上的准确率，并计算攻击成功率；5) 分析结果：比较不同模型在不同攻击下的表现，识别模型的优势和劣势。

关键创新：该研究的关键创新在于系统性地评估了不同Transformer语言模型在对抗性文本攻击下的鲁棒性差异。通过对比实验，揭示了不同模型内在防御机制的有效性，并指出了现有防御方法的计算成本问题。此外，该研究还为开发更高效和有效的防御策略提供了实用的建议。

关键设计：论文的关键设计包括：1) 选择具有代表性的LLM：Flan-T5、BERT-Base和RoBERTa-Base代表了不同类型的Transformer模型；2) 选择有效的对抗攻击方法：TextFooler和BERTAttack是常用的对抗攻击方法，能够有效地生成对抗样本；3) 使用准确率和攻击成功率作为评估指标：准确率反映了模型在原始样本和对抗样本上的性能，攻击成功率反映了攻击方法的有效性；4) 对比不同模型在不同攻击下的表现：通过对比实验，揭示了不同模型的优势和劣势。

📊 实验亮点

实验结果表明，RoBERTa-Base和FlanT5在对抗性攻击下表现出极高的鲁棒性，攻击成功率均为0%。相比之下，BERT-Base对对抗性攻击非常敏感，TextFooler攻击成功率高达93.75%，导致模型准确率从48%大幅下降至3%。这表明不同Transformer模型在面对对抗性攻击时，鲁棒性存在显著差异。

🎯 应用场景

该研究成果可应用于提升自然语言处理系统的安全性，尤其是在金融、医疗等对安全性要求较高的领域。通过了解不同模型的鲁棒性差异，可以选择更安全的模型或针对性地开发防御策略，降低系统遭受恶意攻击的风险。此外，研究结果有助于开发更高效的对抗训练方法，提升模型的泛化能力和鲁棒性。

📄 摘要（原文）

This study evaluates the resilience of large language models (LLMs) against adversarial attacks, specifically focusing on Flan-T5, BERT, and RoBERTa-Base. Using systematically designed adversarial tests through TextFooler and BERTAttack, we found significant variations in model robustness. RoBERTa-Base and FlanT5 demonstrated remarkable resilience, maintaining accuracy even when subjected to sophisticated attacks, with attack success rates of 0%. In contrast. BERT-Base showed considerable vulnerability, with TextFooler achieving a 93.75% success rate in reducing model accuracy from 48% to just 3%. Our research reveals that while certain LLMs have developed effective defensive mechanisms, these safeguards often require substantial computational resources. This study contributes to the understanding of LLM security by identifying existing strengths and weaknesses in current safeguarding approaches and proposes practical recommendations for developing more efficient and effective defensive strategies.