Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

📄 arXiv: 2607.05842v1 📥 PDF

作者: Mingchen Li, Meikang Qiu, Zifan Peng, Heng Fan, Song Fu, Junhua Ding, Yunhe Feng

分类: cs.SE, cs.AI, cs.CR

发布日期: 2026-07-07

💡 一句话要点

研究同源LLM的拒绝行为对安全分析的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软件安全 漏洞分析 拒绝行为 模型比较 安全评估

📋 核心要点

  1. 现有的LLM辅助软件安全分析方法在安全性评估中存在混淆，难以区分模型架构和安全行为的影响。
  2. 本文提出通过比较同源模型的拒绝行为，研究其对软件安全工作流的防御效用，提供更清晰的评估标准。
  3. 实验结果显示，Abliterated模型在补丁验证和漏洞定位方面显著优于Aligned模型，验证率和F1得分均有提升。

📝 摘要（中文）

大型语言模型（LLM）辅助的软件安全分析面临着复杂的挑战，尤其是在漏洞分析中，相关术语可能与误用相关的术语相似。现有的安全性和网络安全评估往往比较不同模型家族，导致安全行为与架构、规模、训练数据和部署的差异混淆。为了解决这一问题，本文研究了同源模型中的安全状态：拒绝行为是否保持不变（Aligned）或被消除（Abliterated）。我们比较了Gemma和Qwen两个模型家族中对齐的指令调优模型与公开发布的拒绝消除后代模型在漏洞检测、CWE归因、漏洞行定位、根本原因定位和可执行补丁验证等方面的表现。实验结果表明，Abliterated模型在早期验证率和定位性能上均优于Aligned模型。

🔬 方法详解

问题定义：本文旨在解决现有LLM在软件安全分析中拒绝行为的混淆问题，现有方法未能有效区分模型架构与安全行为的影响。

核心思路：通过研究同源模型的拒绝行为，比较Aligned与Abliterated模型在安全分析中的表现，旨在提供更准确的安全性评估。

技术框架：研究采用Gemma和Qwen两个模型家族，评估其在漏洞检测、CWE归因、漏洞行定位等多个方面的性能，实验设计中控制提示词的措辞。

关键创新：本文的创新在于首次系统性比较同源模型的拒绝行为对安全分析的影响，明确了模型响应的可用性和正确性对工程工作流的作用。

关键设计：实验中对提示词进行了精心设计，包括中立的代码审查语言和不同密度的网络安全术语，以控制实验变量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在Gemma模型的修复验证研究中，Abliterated模型的早期验证率分别为67.8%、65.0%和32.8%，显著高于Aligned模型的29.9%、24.9%和9.0%。在Qwen模型中，Abliterated模型的行级F1得分从2.08%提升至3.91%，Top-1准确率从4.10%提升至6.95%。

🎯 应用场景

该研究的潜在应用领域包括软件安全工具的开发和优化，特别是在漏洞检测和修复过程中，能够提高模型的实用性和准确性。未来，这一研究可能推动LLM在安全领域的更广泛应用，提升软件开发的安全性和效率。

📄 摘要（原文）

Large language model (LLM)-assisted software security operates at a difficult boundary: the vulnerability-analysis terminology needed for legitimate code review, triage, and repair can closely resemble terminology associated with misuse. Existing safety and cybersecurity evaluations are difficult to interpret in this setting because they often compare unrelated model families, thereby conflating safety behavior with differences in architecture, scale, training data, and deployment. To isolate this factor, we study safety state: whether refusal behavior remains intact (Aligned) or has been refusal-ablated (Abliterated) within same-lineage models. We ask how this safety state affects defensive utility across software-security workflows. We compare aligned instruction-tuned models with publicly released refusal-ablated descendants from two model families, Gemma and Qwen. We evaluate Aligned and Abliterated states on vulnerability detection, CWE attribution, vulnerable-line localization, root-cause localization, and executable patch validation. We further treat prompt wording as a controlled framing dimension: prompts begin with neutral code-review language, add authorization context, and vary the density of cybersecurity terminology. In a Gemma-based Java/Vul4J repair-validation study, Abliterated achieves higher early-stage validation rates, with 67.8%, 65.0%, and 32.8% of patches judged usable, successfully applied, and successfully compiled, respectively, compared with 29.9%, 24.9%, and 9.0% for Aligned. In the Qwen pair, Abliterated improves localization performance, increasing line-level F1 from 2.08% to 3.91% and Top-1 accuracy from 4.10% to 6.95%. These findings suggest that evaluations of LLM-based security assistants should jointly measure whether models respond, whether their usable responses are correct, and whether their outputs remain actionable across the engineering workflow.