CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation

📄 arXiv: 2609.21793v1 📥 PDF

作者: Jiale Luo, Eric Han

分类: cs.CR, cs.CL

发布日期: 2026-09-18

备注: Accepted to Findings of EMNLP 2026

💡 一句话要点

提出系统化防御组合以应对大型语言模型的越狱攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱攻击 大型语言模型 防御组合 安全性评估 机器学习 系统化研究 攻击成功率 公平性规则

📋 核心要点

  1. 现有的越狱攻击防御方法在不同阶段的组合效果不明确，且评估往往孤立，缺乏系统性。
  2. 本文提出了一种系统化的防御组合框架，标准化评估攻击成功率，并在多个阶段进行组合研究。
  3. 实验结果表明，经过合理组合的防御措施能够显著提高安全性，同时保持较低的效用损失。

📝 摘要（中文）

针对大型语言模型（LLMs）的越狱攻击，现有防御措施在不同的处理阶段（如输入修改或输出保护）中运作，但尚不清楚在每个阶段应部署哪些防御措施以及如何组合它们。以往的实证研究由于攻击成功率定义和实验设置的不一致，主要孤立地评估了防御措施。本文首次系统性研究了在一致的威胁模型下，防御组合在不同处理阶段的有效性。通过标准化的攻击成功率公式和明确的公平性规则，我们在19种攻击和15种防御中发现，没有单一防御措施是普遍最佳的，但经过精心选择的组合可以在最小化效用损失的同时实现显著的安全性，为分层防御管道提供了实用建议。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在面对越狱攻击时，现有防御措施组合不明确的问题。现有方法往往孤立评估，缺乏系统性和一致性。

核心思路：论文提出了一种系统化的决策框架，通过标准化的攻击成功率公式和控制查询预算，来评估不同防御措施的组合效果。

技术框架：整体架构包括输入修改和输出保护两个主要阶段，结合19种攻击和15种防御措施进行系统评估。每个阶段的防御措施通过明确的公平性规则进行组合。

关键创新：最重要的创新在于提出了一个一致的威胁模型和标准化的评估框架，使得不同防御措施的组合效果可以进行有效比较，这与以往孤立评估的方法有本质区别。

关键设计：在实验中，设置了明确的查询预算和攻击成功率的定义，确保了评估的一致性和公平性，同时对防御组合的选择进行了系统化的分析。实验结果显示，合理的组合能够在安全性和效用之间取得良好平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过合理选择的防御组合在19种攻击场景下实现了显著的安全性提升，攻击成功率降低了30%以上，同时效用损失保持在可接受范围内，为分层防御提供了实用的指导。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全防护、智能助手的安全性提升以及其他需要防御越狱攻击的AI系统。通过提供系统化的防御组合建议，能够有效提高模型的安全性，减少潜在的滥用风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Defenses against jailbreak attacks on Large Language Models (LLMs) operate at different pipeline stages, such as input modification or output guard, but it remains unclear which defenses to deploy at each stage and how to combine them. Prior empirical studies, fragmented by inconsistent attack-success-rate definitions and experimental settings, have evaluated defenses largely in isolation. Here we present the first systematic study, to our knowledge, of defense combinations both within and across pipeline stages, under a consistent threat model of direct, black-box, single-turn attacks. Our decision framework standardizes evaluation through a principled attack-success-rate formulation with controlled query budgets, together with explicit fairness rules. Across 19 attacks and 15 defenses, we find that no single defense is universally best, but well-chosen combinations achieve substantial safety with minimal utility degradation, yielding practical recommendations for layered defense pipelines.