ECHO: Replacing the Compliance Proxy with Response Harmfulness in Optimization-Based Jailbreak Attack

📄 arXiv: 2610.23030v1 📥 PDF

作者: Yuanwei Wu, Lingdong Huang, Yunlong Mao, Kanye Ye Wang, Jingyu Hua, Sheng Zhong

分类: cs.CR, cs.CL

发布日期: 2026-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出ECHO以解决语言模型的优化攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越狱攻击 语言模型 有害性评估 优化方法 对抗性攻击 安全性测试 机器学习

📋 核心要点

  1. 现有的优化攻击方法无法有效区分模型的谨慎回答与有害回答，导致攻击效果受限。
  2. ECHO通过引入基于实际有害能力的响应级有害性评分，替代了传统的合规性代理，提升了攻击的有效性。
  3. 在五个开放权重的模型上，ECHO达到了显著的性能提升，StrongREJECT平均分为0.898，HarmBench成功率为89.23%。

📝 摘要（中文）

尽管进行了广泛的安全对齐，大型语言模型仍然容易受到越狱攻击。现有的基于优化的攻击方法主要目标是最大化受害者合规性的令牌级代理，这种代理无法有效区分谨慎的模棱两可与完全可操作的有害回答。本文提出ECHO（评估条件有害性优化），用来自HarmSig的响应级连续有害性评分替代合规代理。ECHO结合了五种词级扰动操作和基于关键词的束搜索，在严格的黑箱威胁模型下进行。实验结果显示，ECHO在AdvBench上的五个开放权重受害者中，达到了0.898的StrongREJECT平均分和89.23%的HarmBench成功率。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在越狱攻击中的脆弱性，现有方法依赖的合规性代理无法有效区分有害和无害的响应，导致攻击效果不佳。

核心思路：ECHO的核心思路是用响应级的有害性评分替代合规性代理，这样可以更准确地评估模型输出的潜在危害性，从而提升攻击的成功率。

技术框架：ECHO的整体架构包括HarmSig回归器、五种词级扰动操作和基于关键词的束搜索，采用严格的黑箱威胁模型进行优化。

关键创新：ECHO的主要创新在于引入了HarmSig作为有害性评分的基础，能够更准确地反映模型的实际输出效果，与传统方法相比，显著提升了攻击的有效性。

关键设计：在设计中，HarmSig是一个1.7B的回归模型，专注于评估有害能力，结合了多种扰动操作和全局记忆机制，以增强搜索效率和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

ECHO在五个开放权重的模型上表现出色，StrongREJECT平均分达到0.898，HarmBench成功率为89.23%，相较于现有方法显著提升，展示了其在优化攻击中的有效性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、对抗性训练和模型评估等，能够帮助研究人员更好地理解和改进大型语言模型的安全性。未来，ECHO可能在提升模型抵抗越狱攻击的能力方面发挥重要作用，推动安全AI的发展。

📄 摘要（原文）

Despite extensive safety alignment, large language models remain vulnerable to jailbreak attacks. Existing optimization-based attacks share a single objective: maximize a token-level proxy of victim compliance---such as the likelihood of an affirmative prefix---computed on the prompt rather than the decoded reply. This proxy cannot distinguish a cautious hedge from a fully actionable harmful answer, leaving the search blind to what the model actually says. We propose ECHO (Evaluation-Conditioned Harmfulness Optimization), which replaces the compliance proxy with response-level, continuous harmfulness scores from HarmSig, a 1.7B regressor grounded in actual harmful capability. ECHO couples HarmSig with five word-level perturbation operators and Keyword-Anchored Beam Search with global top-m memory, under a strict black-box threat model. Across five open-weight victims on AdvBench, ECHO achieves up to 0.898 StrongREJECT mean score and 89.23% HarmBench success. Our code is publicly available at https://github.com/STANWYW/echo.