Quant Fever, Reasoning Blackholes, Schrodinger's Compliance, and More: Probing GPT-OSS-20B

📄 arXiv: 2509.23882v2 📥 PDF

作者: Shuyi Lin, Tian Lu, Zikai Wang, Bo Wen, Yibo Zhao, Cheng Tan

分类: cs.AI, cs.CR

发布日期: 2025-09-28 (更新: 2025-10-05)

💡 一句话要点

针对GPT-OSS-20B的安全评估揭示了多种对抗性攻击下的模型弱点

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型安全 对抗性攻击 安全评估 GPT-OSS-20B Jailbreak Oracle 思维链推理 失效模式 开源模型

📋 核心要点

  1. 现有大语言模型在对抗性攻击下存在安全漏洞，容易被诱导产生有害或不当行为。
  2. 本文通过系统性的评估工具Jailbreak Oracle (JO)，深入分析GPT-OSS-20B在不同对抗条件下的行为。
  3. 实验揭示了GPT-OSS-20B的多种失效模式，并展示了这些弱点如何被利用，造成潜在危害。

📝 摘要（中文）

本文对OpenAI的GPT-OSS-20B模型进行了全面的安全评估，该模型是具有显式思维链（CoT）推理和Harmony提示格式的开源语言模型。研究利用Jailbreak Oracle (JO)这一系统性的LLM评估工具，揭示了多种失效模式，包括量化热、推理黑洞、薛定谔的顺从性、推理过程幻觉和链式导向提示。实验证明了这些行为如何在GPT-OSS-20B模型上被利用，从而导致严重的后果。

🔬 方法详解

问题定义：本文旨在发现并分析GPT-OSS-20B模型在面对对抗性攻击时的安全漏洞。现有方法难以全面评估LLM在各种复杂对抗条件下的行为，缺乏系统性的评估工具和对特定失效模式的深入理解。

核心思路：本文的核心思路是利用Jailbreak Oracle (JO)这一系统性的LLM评估工具，通过构造不同的对抗性提示，探测GPT-OSS-20B模型在各种场景下的行为，从而发现其潜在的安全弱点。通过分析模型的输出，识别并归纳出不同的失效模式。

技术框架：本文主要依赖Jailbreak Oracle (JO) 工具进行评估。JO工具允许研究人员系统地生成和执行各种对抗性提示，并自动分析模型的响应。研究人员设计了多种类型的对抗性提示，旨在触发模型的不同失效模式，例如量化热、推理黑洞等。

关键创新：本文的创新之处在于系统性地利用Jailbreak Oracle (JO) 评估工具，深入分析了GPT-OSS-20B模型的安全弱点，并揭示了多种新的失效模式。这些失效模式反映了模型在推理、安全对齐等方面存在的潜在问题。

关键设计：本文的关键设计在于对抗性提示的构造。研究人员针对GPT-OSS-20B模型的特点，设计了多种类型的对抗性提示，例如利用量化误差、干扰推理过程、诱导模型产生幻觉等。这些提示旨在触发模型的不同失效模式，从而全面评估模型的安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究揭示了GPT-OSS-20B模型在对抗性攻击下的多种失效模式，包括量化热、推理黑洞、薛定谔的顺从性、推理过程幻觉和链式导向提示。实验证明，这些弱点可以被利用，导致模型产生有害或不当行为，突显了开源大语言模型安全评估的重要性。

🎯 应用场景

该研究成果可应用于提升开源大语言模型的安全性，指导模型开发者改进模型的安全对齐策略，降低模型被恶意利用的风险。同时，研究中使用的评估方法和发现的失效模式，也可为其他LLM的安全评估提供参考。

📄 摘要（原文）

OpenAI's GPT-OSS family provides open-weight language models with explicit chain-of-thought (CoT) reasoning and a Harmony prompt format. We summarize an extensive security evaluation of GPT-OSS-20B that probes the model's behavior under different adversarial conditions. Using the Jailbreak Oracle (JO) [1], a systematic LLM evaluation tool, the study uncovers several failure modes including quant fever, reasoning blackholes, Schrodinger's compliance, reasoning procedure mirage, and chain-oriented prompting. Experiments demonstrate how these behaviors can be exploited on the GPT-OSS-20B model, leading to severe consequences.