How to Tame a Multi-Headed Hydra? Adaptive Multi-Category Safety Steering for Large Language Models

📄 arXiv: 2609.34514v1 📥 PDF

作者: Chenxi Wang, Ruiyang Huang, Li Huang, Yifan Wu

分类: cs.CR, cs.CL, cs.LG

发布日期: 2026-09-28

💡 一句话要点

提出CAM-Steer框架以解决多类别安全引导问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全引导 风险估计 多类别处理 激活引导

📋 核心要点

  1. 现有的自适应引导方法未能有效协调多个危害类别的引导方向和强度，导致安全性不足。
  2. CAM-Steer框架通过比较隐藏状态与安全和不安全原型，估计每个危害类别的风险，并合并安全引导方向。
  3. 实验结果显示，CAM-Steer在防御成功率上优于基线方法，尤其在多个危害类别共存的情况下表现突出。

📝 摘要（中文）

随着大型语言模型（LLMs）的广泛应用，防止对有害提示的安全响应变得至关重要。激活引导是一种通过在推理过程中修改内部激活来提高LLM安全性的方法。然而，单个提示可能涉及多个危害类别，针对一个类别的安全引导可能会忽视其他类别的有害内容。为了解决这一问题，本文提出了CAM-Steer框架，该框架通过比较当前隐藏状态与安全和不安全原型来估计每个危害类别的风险，并将不同类别的安全方向合并为单一引导方向。实验表明，CAM-Steer在多个LLM基础模型和七个危害类别上均优于基线方法，且推理开销微乎其微。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理包含多个危害类别的提示时，如何有效引导以确保安全性的问题。现有方法在协调引导方向和强度方面存在不足，可能导致某些危害未被有效处理。

核心思路：CAM-Steer框架的核心思想是通过比较当前隐藏状态与安全和不安全原型，来估计每个危害类别的风险，并据此合并不同类别的安全引导方向。这种设计旨在确保在多类别共存的情况下，能够综合考虑各类风险。

技术框架：CAM-Steer的整体架构包括风险估计模块、引导方向合并模块和隐藏状态旋转模块。首先，风险估计模块计算每个类别的风险，然后合并这些风险以形成单一的引导方向，最后根据合并后的方向调整隐藏状态，同时保持其范数。

关键创新：CAM-Steer的主要创新在于其类别自适应的引导机制，能够在多类别共存的情况下有效协调引导方向和强度。这与现有方法的单一引导方向设计形成鲜明对比，显著提升了安全性。

关键设计：在设计中，风险估计是通过与安全和不安全原型的比较实现的，合并引导方向时考虑了各类别的风险权重。此外，隐藏状态的旋转角度由估计的风险决定，确保了引导的有效性与安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CAM-Steer在多个大型语言模型上均显著提高了防御成功率，尤其在多个危害类别共存的情况下，成功率提升幅度超过了基线方法，显示出其优越的安全引导能力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全部署、智能客服系统、内容生成平台等。通过提高模型对多类别危害的响应能力，能够有效减少不当内容的生成，提升用户体验和信任度。未来，该框架可能在更广泛的AI应用中发挥重要作用，推动安全AI的发展。

📄 摘要（原文）

As large language models (LLMs) become increasingly widespread, preventing unsafe responses to harmful prompts is essential for their safe deployment. Activation steering offers an approach to improving LLM safety by modifying internal activations during inference without updating model parameters. However, a single prompt can involve multiple harm categories, and steering toward safety in one category may leave harmful content from another unaddressed. Despite advances in adaptive steering, existing methods do not explicitly coordinate steering direction and strength when multiple harm categories co-occur within a single prompt. To address this problem, we propose CAM-Steer, a Category-Adaptive Multi-category Safety Steering framework. Specifically, it estimates the risk associated with each harm category by comparing the current hidden state with safe and unsafe prototypes. The estimated risks are then used to combine the safety directions for different harm categories into a single steering direction and to determine the strength of the intervention. Finally, it rotates the hidden state along the composed steering direction, with the rotation angle determined by the estimated risks, while preserving the hidden-state norm. Experiments across three LLM backbones and seven harm categories show that CAM-Steer outperforms the evaluated baselines in average defense success rate, including when categories co-occur. Further analyses support its component designs and informative risk scores, with negligible inference overhead.