No-Skim: Towards Efficiency Robustness Evaluation on Skimming-based Language Models

📄 arXiv: 2312.09494v2 📥 PDF

作者: Shengyao Zhang, Mi Zhang, Xudong Pan, Min Yang

分类: cs.CR, cs.CL

发布日期: 2023-12-15 (更新: 2023-12-18)

💡 一句话要点

提出No-Skim框架以评估基于滑模的语言模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 滑模加速 鲁棒性评估 对抗性攻击 大型语言模型 计算效率

📋 核心要点

  1. 现有的基于滑模的加速方法在降低计算成本的同时，可能面临拒绝服务攻击的脆弱性。
  2. 本文提出的No-Skim框架通过寻找不易察觉的扰动，评估滑模加速方案的鲁棒性。
  3. 实验结果表明，No-Skim在最坏情况下能使LLM的运行成本平均增加超过145%。

📝 摘要（中文）

为了降低大型语言模型（LLM）的计算成本和能耗，基于滑模的加速方法动态地逐层丢弃输入序列中不重要的标记，同时保留语义重要的标记。然而，我们的研究首次揭示了这种加速方法可能容易受到拒绝服务（DoS）攻击。本文提出了No-Skim框架，帮助滑模LLM的拥有者理解和测量其加速方案的鲁棒性。具体而言，我们的框架在字符级和标记级搜索最小且不易察觉的扰动，以生成对抗性输入，从而显著增加剩余标记比例，进而提高计算成本和能耗。我们系统地评估了在GLUE基准上，BERT和RoBERTa等多种LLM架构下滑模加速的脆弱性。在最坏情况下，No-Skim找到的扰动平均使LLM的运行成本增加超过145%。此外，No-Skim将评估框架扩展到多种场景，使评估在不同知识水平下可行。

🔬 方法详解

问题定义：本文旨在解决基于滑模的加速方法在面对对抗性攻击时的脆弱性。现有方法在降低计算成本的同时，未能有效评估其鲁棒性，导致可能被攻击者利用。

核心思路：No-Skim框架的核心思路是通过生成最小且不易察觉的扰动，增加剩余标记比例，从而提高计算成本和能耗。这种设计使得攻击者难以察觉，同时有效评估加速方案的脆弱性。

技术框架：No-Skim的整体架构包括扰动生成模块和鲁棒性评估模块。扰动生成模块负责在字符级和标记级寻找对抗性输入，而鲁棒性评估模块则对不同LLM架构进行系统评估。

关键创新：No-Skim的主要创新在于其能够在字符级和标记级生成不易察觉的扰动，显著提高了对滑模加速方案的鲁棒性评估能力。这一方法与传统的评估方法相比，提供了更全面的脆弱性分析。

关键设计：在设计中，No-Skim采用了特定的损失函数来优化扰动的生成，同时在网络结构上考虑了多种LLM架构的特点，以确保评估的准确性和有效性。

📊 实验亮点

实验结果显示，No-Skim在评估滑模加速方案时，能够在最坏情况下使LLM的运行成本平均增加超过145%。这一结果表明，滑模加速方法在面对对抗性扰动时的脆弱性显著，强调了鲁棒性评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估、对抗性攻击的防御策略设计以及优化模型的能耗和计算效率。随着LLM在各个领域的广泛应用，理解其鲁棒性将对提升模型的实际应用价值具有重要意义。

📄 摘要（原文）

To reduce the computation cost and the energy consumption in large language models (LLM), skimming-based acceleration dynamically drops unimportant tokens of the input sequence progressively along layers of the LLM while preserving the tokens of semantic importance. However, our work for the first time reveals the acceleration may be vulnerable to Denial-of-Service (DoS) attacks. In this paper, we propose No-Skim, a general framework to help the owners of skimming-based LLM to understand and measure the robustness of their acceleration scheme. Specifically, our framework searches minimal and unnoticeable perturbations at character-level and token-level to generate adversarial inputs that sufficiently increase the remaining token ratio, thus increasing the computation cost and energy consumption. We systematically evaluate the vulnerability of the skimming acceleration in various LLM architectures including BERT and RoBERTa on the GLUE benchmark. In the worst case, the perturbation found by No-Skim substantially increases the running cost of LLM by over 145% on average. Moreover, No-Skim extends the evaluation framework to various scenarios, making the evaluation conductible with different level of knowledge.