Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs
作者: Lukáš Brůna, Robert Bridges, Adam Ek
分类: cs.CR, cs.AI
发布日期: 2026-09-24
💡 一句话要点
提出输出前缀攻击以破解推理型大型语言模型
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 输出前缀攻击 推理模型 大型语言模型 安全性测试 对抗样本
📋 核心要点
- 现有的推理模型在最终响应之前增加了中间推理步骤,但这些步骤的可编辑性为攻击提供了机会。
- 论文通过系统性研究,首次将推理通道作为输出前缀攻击的向量进行隔离,并比较了不同类型的攻击效果。
- 实验结果表明,结合输出前缀的推理注入显著提高了攻击成功率,且模型的脆弱性与上下文前缀的使用密切相关。
📝 摘要(中文)
大型语言模型(LLMs)以单一文本序列进行输入和输出,因此如果可以在LLM响应的开头添加文本,即输出前缀,则所有后续标记将以此为条件。该论文提出了一种廉价的黑箱提示注入技术,系统性地研究了输出前缀攻击在推理模型中的应用。研究发现,单独注入恶意推理几乎无效,但与简单的输出前缀结合使用时,攻击成功率可高达99%。
🔬 方法详解
问题定义:本论文旨在解决如何有效攻击推理型大型语言模型的问题。现有方法在面对推理模型时效果不佳,尤其是单独注入推理内容几乎没有攻击成功率。
核心思路:论文提出通过输出前缀攻击来影响推理模型的响应,利用输出前缀的特性使后续标记受到影响,从而提高攻击成功率。
技术框架:研究采用了3种前缀类型与2种推理注入方式的因子设计,针对1800个测试案例进行实验,攻击了三种前沿模型。
关键创新:该研究首次系统性地将推理通道作为输出前缀攻击的向量进行分析,并比较了不同攻击方式的效果,揭示了上下文前缀的优势。
关键设计:实验中设置了不同类型的前缀,并通过对比分析不同模型的脆弱性,发现上下文前缀相比静态前缀在攻击成功率上表现更佳。
🖼️ 关键图片
📊 实验亮点
实验结果显示,单独注入恶意推理的攻击成功率约为0%,而结合简单的输出前缀后,某些模型的攻击成功率高达99%。此外,使用上下文前缀的效果明显优于静态前缀,展示了模型在不同攻击方式下的脆弱性差异。
🎯 应用场景
该研究的潜在应用领域包括安全性测试、模型鲁棒性评估以及对抗样本生成等。通过揭示推理模型的脆弱性,可以为模型的改进和安全防护提供重要参考,未来可能影响大型语言模型的设计与应用。
📄 摘要(原文)
Large Language Models (LLMs) consume and produce a single sequence of text; hence, if text can be added to the beginning of the LLM's response, i.e., an output prefix, then all subsequent tokens will be conditioned on it. This output-prefix attack technique is a cheap black-box prompt injection. Prior work has shown this type of attack can reliably jailbreak non-reasoning models. Most reasoning models add an intermediate scratchpad reasoning step before the assistant's final response. The ability to edit this reasoning channel is exposed by some APIs and attack vectors can be leveraged for reasoning injection attacks. We present the first systematic, controlled study that isolates the scratchpad reasoning channel as an output-prefix attack vector, and the first to compare reasoning-only, output-prefix-only and reasoning-plus-output-prefix attacks across both exposed- and hidden-reasoning models. Using a factorial design of 3 prefix types $\times$ 2 reasoning injections over $1{,}800$ test cases drawn from AdvBench, we attack three 2026-era frontier models Gemini 3 Flash Preview, DeepSeek V4 Flash, and Claude Haiku 4.5. We find that injecting malicious reasoning alone is essentially inert ($\approx0\%$ attack success), but injecting the same reasoning together with a trivial output prefix raises the attack success rate to as high as $99\%$ for some models. For this type of attack we find that contextual prefixes work better than static prefixes; and that susceptibility is dependent on the model.