On the Hardness of Junking LLMs
作者: Marco Rando, Samuel Vaiter
分类: cs.LG
发布日期: 2026-05-06
备注: 27 pages, 13 figures, 2 tables
💡 一句话要点
研究LLM中触发有害输出的“垃圾序列”的难易程度，发现其难度高于标准越狱攻击。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 越狱攻击 自然后门 对抗性攻击 安全性 垃圾序列 贪婪搜索
📋 核心要点
- 现有LLM越狱攻击依赖于精心设计的提示，但忽略了模型中可能存在的自然后门，即无需语义指令即可触发有害输出的token序列。
- 论文形式化了“垃圾序列”问题，旨在寻找最大化有害响应概率的token序列，并提出了一种贪婪随机搜索方法。
- 实验表明，该问题比标准越狱攻击更难，但简单的随机搜索策略仍能以高成功率找到有效序列，暗示自然后门的存在。
📝 摘要（中文）
大型语言模型（LLM）容易受到越狱攻击，这些攻击通常依赖于精心设计的、包含明确语义结构的提示。这些攻击通常通过固定对抗性指令并优化小的对抗性组件（例如，后缀或前缀）来实现。在这种情况下，提示结构对于性能至关重要，最近的结果表明，即使是简单的随机搜索，如果与复杂的提示设计相结合，也能取得良好的性能。最近，有人观察到，即使没有对抗性提示，仅依靠优化的token序列也能引发有害行为。这表明存在自然的后门，即在LLM训练过程中自然出现的token序列，无需任何有意义的指令即可触发不安全的输出。然而，尽管有这些观察结果，但这种设置在很大程度上仍未被探索，特别是寻找自然后门的难度尚未得到评估。在这项工作中，我们提供了一个初步的概念验证研究，调查了这项任务的难度，我们将其称为垃圾序列问题。我们将其形式化为寻找token序列的问题，该序列最大化生成有害响应的目标前缀的概率，并提出了一种贪婪随机搜索方法来评估是否可以轻松发现此类序列。我们的结果表明，这个问题比标准的越狱攻击更难，证实了语义信息在提示设计中的重要性。同时，我们发现我们的简单策略足以高成功率地解决它，这表明自然后门是存在且易于恢复的。最后，通过困惑度分析，我们观察到发现的token序列位于模型分布的低概率区域，支持了它们隐式地从训练过程中出现的假设。
🔬 方法详解
问题定义：论文旨在研究大型语言模型（LLM）中是否存在无需特定语义指令即可触发有害输出的“自然后门”。现有越狱攻击方法通常依赖于精心设计的提示结构，而忽略了模型本身可能存在的、在训练过程中产生的隐式后门。因此，该研究关注的是如何找到这些隐藏在模型中的、能够触发有害行为的token序列，并评估其难度。
核心思路：论文的核心思路是将寻找自然后门的问题形式化为优化问题，即寻找一段token序列，使得LLM生成特定有害响应前缀的概率最大化。通过最大化这个概率，可以找到那些能够有效触发有害行为的token序列，从而揭示LLM中潜在的脆弱性。
技术框架：论文采用了一种贪婪随机搜索方法来寻找目标token序列。该方法从随机token序列开始，迭代地修改序列中的token，每次修改都选择能够最大程度提高目标有害响应概率的token。具体流程如下：1. 初始化一个随机token序列。2. 迭代地替换序列中的每个token，选择能够最大化目标响应概率的token。3. 重复步骤2，直到达到预定的迭代次数或找到满足要求的token序列。
关键创新：该研究的关键创新在于首次对LLM中自然后门的存在性和可发现性进行了系统性的研究。与以往关注于设计复杂提示的越狱攻击不同，该研究关注的是模型本身固有的脆弱性，并提出了一种简单有效的搜索方法来发现这些脆弱性。
关键设计：论文的关键设计包括：1. 使用贪婪随机搜索算法，该算法简单易实现，并且能够有效地探索token序列空间。2. 将问题形式化为概率最大化问题，使得可以使用优化算法来寻找目标token序列。3. 通过困惑度分析，验证了发现的token序列位于模型分布的低概率区域，从而支持了自然后门的存在假设。
🖼️ 关键图片
📊 实验亮点
实验结果表明，寻找触发有害输出的“垃圾序列”比标准越狱攻击更难，但通过简单的贪婪随机搜索策略仍能以较高的成功率找到有效序列。困惑度分析显示，这些序列位于模型分布的低概率区域，支持了它们在训练过程中隐式产生的假设。
🎯 应用场景
该研究成果可应用于提升LLM的安全性，通过识别和消除模型中存在的自然后门，降低模型被恶意利用的风险。此外，该研究也为理解LLM的内部机制提供了新的视角，有助于开发更安全、更可靠的LLM。
📄 摘要（原文）
Large language models (LLMs) are known to be vulnerable to jailbreak attacks, which typically rely on carefully designed prompts containing explicit semantic structure. These attacks generally operate by fixing an adversarial instruction and optimizing small adversarial components (e.g., suffixes or prefixes). In this setting, prompt structure is fundamental for performance, and recent results show that even simple random search can achieve strong performance when combined with sophisticated prompt design. Recently, it has been observed that harmful behaviors can be elicited even without the adversarial prompt, relying solely on optimized token sequences. This suggests the existence of natural backdoors, i.e., token sequences naturally emerged during LLMs training that trigger unsafe outputs without any meaningful instruction. However, despite these observations, this setting remains largely unexplored, and in particular the hardness of finding natural backdoors has not been assessed yet. In this work, we provide a first proof-of-concept study investigating the hardness of this task, which we refer to as the junking problem. We formalize it as the problem of finding token sequences that maximize the probability of generating a target prefix of harmful responses, propose a greedy random-search method to assess is such sequences can be discovered easily. Our results show that this problem is harder than standard jailbreak attacks, confirming the importance of semantic information in prompt design. At the same time, we find that our simple strategy is sufficient to solve it with a high success rate, suggesting that natural backdoors are present and easily recoverable. Finally, through perplexity analysis, we observe that the discovered token sequences lie in low-probability regions of the model distribution, supporting the hypothesis that they emerged implicitly from the training process.