Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models
作者: Youjia Wang, Lin Xu, Yang Sun, Yuxiao Lu, Chengfang Fang, Jie Shi
分类: cs.AI, cs.LG
发布日期: 2026-09-16
备注: 18 pages
💡 一句话要点
提出狡猾数据以增强大型语言模型的安全警觉性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全对齐 大型语言模型 狡猾问题 鲁棒性 误导性推理 潜在风险 深度学习 人工智能安全
📋 核心要点
- 现有的安全对齐方法在处理隐藏有害意图的请求时存在不足，容易被误导。
- 本文提出通过“狡猾问题”训练模型，使其能够识别潜在的误导性推理和不一致性，从而增强警觉性。
- 实验结果显示，狡猾训练显著提高了模型的鲁棒性，并在多个基准测试中降低了平均攻击成功率（ASR）。
📝 摘要（中文）
安全对齐教会大型语言模型（LLMs）识别有害请求并拒绝风险指令。然而，当有害意图隐藏在看似无害的上下文中时，对齐模型可能会失败。因此，强大的安全性不仅需要对安全边界的知识，还需要警觉性：即在表面语义下检测不寻常的前提、误导性推理和潜在风险的能力。为培养这一能力，本文引入了“狡猾问题”，这些问题不一定与安全相关，但包含误导性前提、非典型推理或微妙的不一致性。实验表明，狡猾训练提高了对分布外越狱攻击的鲁棒性，并增强了后续的安全微调效果。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在面对隐藏有害意图的请求时的脆弱性。现有的安全对齐方法往往无法有效识别这些潜在风险，导致模型在实际应用中可能出现安全隐患。
核心思路：论文提出通过引入“狡猾问题”来训练模型，使其能够识别和分析潜在的误导性推理和不一致性。这种方法旨在提高模型的警觉性，从而在安全关键场景中表现得更加稳健。
技术框架：整体架构包括两个主要阶段：首先是狡猾问题的生成与训练，其次是基于狡猾训练的安全微调。模型在训练过程中会接触到多种狡猾问题，以提高其对复杂请求的理解能力。
关键创新：最重要的技术创新在于引入了“狡猾问题”这一概念，旨在通过训练模型识别潜在的误导性推理，从而增强其安全警觉性。这与传统的安全对齐方法形成了鲜明对比，后者主要依赖于显式的安全规则。
关键设计：在训练过程中，模型的损失函数设计为同时考虑狡猾问题的识别能力和安全判断能力。此外，模型架构采用了先进的深度学习技术，以确保在处理复杂请求时的高效性和准确性。实验中还对不同的参数设置进行了优化，以达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，狡猾训练显著提高了模型的鲁棒性，针对九个基准组合的平均攻击成功率（ASR）从17.40%降低至15.05%。此外，经过匹配的安全微调后，模型的安全判断能力在有害规划开始之前得到了增强，表明狡猾数据的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动内容审核和安全聊天机器人等。通过增强模型的安全警觉性，可以有效降低其在实际应用中遭受恶意攻击的风险，提升用户信任度和安全性。未来，该方法可能会在更多安全关键的人工智能系统中得到广泛应用。
📄 摘要（原文）
Safety alignment teaches large language models (LLMs) to recognize harmful requests and reject risky instructions. Yet aligned models can fail when harmful intent is concealed within seemingly benign contexts. Robust safety therefore requires both knowledge of safety boundaries and \textbf{vigilance}: the ability to detect unusual premises, misleading reasoning, and latent risks beneath surface-level semantics. Vigilance requires models to scrutinize a request's underlying intent and assumptions before acting. To cultivate this capability, we introduce \textbf{cunning questions}, which are not necessarily safety-related but contain misleading premises, atypical reasoning, or subtle inconsistencies. We hypothesize that learning to look beyond such reasoning traps can transfer to safety-critical scenarios. Experiments show that Cunning training improves robustness to out-of-distribution jailbreak attacks and strengthens subsequent safety fine-tuning. Furthermore, augmenting an existing state-of-the-art safety alignment pipeline with Cunning establishes a new state of the art across our evaluated settings, reducing mean ASR across nine backbone--benchmark combinations from 17.40\% to 15.05\%. Trace analysis after matched safety fine-tuning suggests that safety judgments are more likely to govern responses before harmful planning begins. A conditional theoretical analysis further characterizes when invariance learned from cunning data can transfer to safety-related inputs. These findings suggest that cunning data can strengthen model vigilance and complement conventional safety alignment.