Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach

📄 arXiv: 2507.10330v1 📥 PDF

作者: Mohammed Bouri, Adnane Saoud

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-07-14

备注: Accepted to ACL Findings 2025

期刊: Findings of the Association for Computational Linguistics: ACL 2025, pp. 12118-12137, Vienna, Austria, July 2025

DOI: 10.18653/v1/2025.findings-acl.627

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于增长界矩阵的正则化方法，提升NLP模型在词替换攻击下的鲁棒性和泛化性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗攻击 词替换攻击 鲁棒性 增长界矩阵 正则化 循环神经网络 状态空间模型

📋 核心要点

  1. 现有NLP模型易受对抗攻击，特别是词替换攻击，而循环网络和状态空间模型（如S4）的鲁棒性研究不足。
  2. 论文提出基于增长界矩阵（GBM）的正则化技术，旨在减少输入扰动对模型输出的影响，从而提升模型鲁棒性。
  3. 实验结果表明，该方法在多种架构和数据集上，相较于现有基线，对抗鲁棒性最高提升了8.8%。

📝 摘要（中文）

尽管自然语言处理（NLP）取得了显著进展，但模型仍然容易受到对抗性攻击，例如同义词替换。先前的工作主要集中在提高前馈和卷积架构的鲁棒性，而循环网络和现代状态空间模型（SSM）（如S4）的鲁棒性仍未得到充分研究。这些架构由于其顺序处理和复杂的参数动态而带来了独特的挑战。在本文中，我们引入了一种基于增长界矩阵（GBM）的新型正则化技术，通过减少输入扰动对模型输出的影响来提高NLP模型的鲁棒性。我们重点计算了三种架构的GBM：长短期记忆网络（LSTM）、状态空间模型（S4）和卷积神经网络（CNN）。我们的方法旨在（1）增强对词替换攻击的抵抗力，（2）提高在干净文本上的泛化能力，以及（3）提供对SSM（S4）鲁棒性的首次系统分析。在多个架构和基准数据集上进行的大量实验表明，我们的方法比现有基线提高了高达8.8%的对抗鲁棒性。这些结果突出了我们方法的有效性，优于几种最先进的对抗防御方法。代码可在https://github.com/BouriMohammed/GBM 获取。

🔬 方法详解

问题定义：论文旨在解决NLP模型在面对词替换攻击时鲁棒性不足的问题，特别是针对循环神经网络（如LSTM）和状态空间模型（如S4）等复杂架构。现有方法在提升前馈和卷积网络的鲁棒性方面取得了一定进展，但对这些序列模型的鲁棒性研究较少，且这些模型因其独特的序列处理方式和复杂的参数动态而面临更大的挑战。

核心思路：论文的核心思路是利用增长界矩阵（Growth Bound Matrix, GBM）来约束模型参数，从而限制输入扰动对模型输出的影响。通过正则化模型，使其对输入中的微小变化更加不敏感，从而提高其在对抗攻击下的鲁棒性。这种方法旨在通过控制模型内部状态的增长，来保证模型输出的稳定性。

技术框架：整体框架包括以下几个主要步骤：1）选择目标NLP模型架构（LSTM, S4, CNN）；2）计算所选架构的增长界矩阵（GBM）；3）将GBM作为正则化项添加到模型的损失函数中；4）使用对抗训练或其他优化方法训练模型。该框架的关键在于GBM的计算和正则化项的有效集成。

关键创新：论文的关键创新在于将增长界矩阵（GBM）的概念引入到NLP模型的鲁棒性提升中，并首次系统地分析了状态空间模型（S4）的鲁棒性。与传统的对抗训练方法相比，GBM提供了一种更直接的方式来控制模型对输入扰动的敏感度，而无需依赖于生成对抗样本。

关键设计：论文的关键设计包括：1）针对不同模型架构（LSTM, S4, CNN）设计了特定的GBM计算方法；2）将GBM正则化项添加到交叉熵损失函数中，通过调整正则化系数来平衡模型的鲁棒性和泛化能力；3）采用对抗训练策略，进一步提升模型的鲁棒性。具体的参数设置和网络结构细节取决于所选的基准模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于增长界矩阵（GBM）的正则化方法能够有效提升NLP模型在词替换攻击下的鲁棒性。在多个基准数据集上，该方法相较于现有的对抗训练方法，取得了显著的性能提升，最高可达8.8%。此外，该方法在提升模型鲁棒性的同时，还能够保持甚至提升模型在干净文本上的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要高可靠性和安全性的NLP应用场景，例如：智能客服、情感分析、机器翻译、文本分类等。通过提高模型对对抗攻击的鲁棒性，可以有效防止恶意用户通过构造对抗样本来欺骗或误导模型，从而保障系统的稳定运行和用户的信息安全。此外，该方法还有助于提升模型在真实场景中的泛化能力，使其能够更好地应对各种噪声和干扰。

📄 摘要（原文）

Despite advancements in Natural Language Processing (NLP), models remain vulnerable to adversarial attacks, such as synonym substitutions. While prior work has focused on improving robustness for feed-forward and convolutional architectures, the robustness of recurrent networks and modern state space models (SSMs), such as S4, remains understudied. These architectures pose unique challenges due to their sequential processing and complex parameter dynamics. In this paper, we introduce a novel regularization technique based on Growth Bound Matrices (GBM) to improve NLP model robustness by reducing the impact of input perturbations on model outputs. We focus on computing the GBM for three architectures: Long Short-Term Memory (LSTM), State Space models (S4), and Convolutional Neural Networks (CNN). Our method aims to (1) enhance resilience against word substitution attacks, (2) improve generalization on clean text, and (3) providing the first systematic analysis of SSM (S4) robustness. Extensive experiments across multiple architectures and benchmark datasets demonstrate that our method improves adversarial robustness by up to 8.8% over existing baselines. These results highlight the effectiveness of our approach, outperforming several state-of-the-art methods in adversarial defense. Codes are available at https://github.com/BouriMohammed/GBM