Risk-adaptive Activation Steering for Safe Multimodal Large Language Models

📄 arXiv: 2510.13698v2 📥 PDF

作者: Jonghyun Park, Minhyuk Seo, Jonghyun Choi

分类: cs.CV

发布日期: 2025-10-15 (更新: 2025-11-03)

💡 一句话要点

提出风险自适应激活引导(RAS)方法，提升多模态大语言模型安全性并加速推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 安全性 风险评估 激活引导 推理时防御 跨模态注意力 对抗攻击

📋 核心要点

  1. 多模态大语言模型容易受到嵌入恶意图像的查询攻击，现有安全对齐方法成本高昂或影响推理速度。
  2. RAS通过加强模型对安全关键图像区域的跨模态注意力，实现准确的风险评估和自适应激活引导。
  3. 实验表明，RAS在降低攻击成功率、保持任务性能和提高推理速度方面均优于现有推理时防御方法。

📝 摘要（中文）

现代AI模型面临的关键挑战之一是确保对良性查询提供有用的响应，同时拒绝恶意查询。然而，模型常常容易受到嵌入有害意图图像的多模态查询的攻击。一种安全对齐方法是在大型安全数据集上进行训练，但这在数据集构建和训练方面成本高昂。推理时对齐可以缓解这些成本，但引入了两个缺点：对错误分类的良性查询过度拒绝，以及由于迭代输出调整导致的推理速度降低。为了克服这些限制，我们提出重新构建查询，以加强跨模态注意力，使其关注安全关键的图像区域，从而在查询级别实现准确的风险评估。利用评估的风险，自适应地引导激活，以生成安全且有用的响应，而无需迭代输出调整的开销。我们称之为风险自适应激活引导（RAS）。在多模态安全性和效用的多个基准上的大量实验表明，RAS显著降低了攻击成功率，保留了一般任务性能，并提高了推理速度，优于先前的推理时防御方法。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型在推理时，容易受到恶意多模态输入攻击，同时现有防御方法（如安全数据集训练和迭代输出调整）存在成本高昂、推理速度慢或过度拒绝良性查询的问题。

核心思路：核心思路是通过增强模型对输入图像中安全关键区域的关注，从而更准确地评估查询的风险。基于评估的风险，自适应地调整模型的激活，生成安全且有用的响应，避免了迭代调整带来的性能损失。

技术框架：RAS方法主要包含以下几个阶段：1) 查询重构：通过某种机制（具体实现未知）增强模型对安全关键图像区域的关注。2) 风险评估：基于重构后的查询，模型评估输入查询的风险等级。3) 激活引导：根据评估的风险等级，自适应地调整模型的激活，生成安全且有用的响应。整个过程无需迭代调整输出。

关键创新：关键创新在于风险自适应的激活引导机制。不同于以往依赖大量安全数据训练或迭代调整输出的方法，RAS通过在推理时动态调整激活，实现了安全性和效率的平衡。这种方法避免了对良性查询的过度拒绝，并减少了推理时间。

关键设计：论文中并未详细描述查询重构的具体实现方式，以及风险评估和激活引导的具体算法细节。这些是实现RAS的关键技术细节，但目前未知。推测可能涉及到注意力机制的调整、特征空间的变换或损失函数的定制等。具体参数设置、损失函数和网络结构等细节也未在摘要中提及。

📊 实验亮点

论文通过实验证明，RAS方法在多个多模态安全基准测试中显著降低了攻击成功率，同时保持了模型在通用任务上的性能。此外，RAS还提高了推理速度，优于现有的推理时防御方法。具体的性能提升数据和对比基线未在摘要中给出，需要查阅论文全文。

🎯 应用场景

该研究成果可应用于各种需要安全保障的多模态大语言模型应用场景，例如智能客服、内容审核、自动驾驶等。通过提高模型对恶意输入的防御能力，可以有效防止模型被用于传播有害信息或进行恶意攻击，从而提升用户体验和安全性。未来，该方法有望扩展到更广泛的多模态任务中。

📄 摘要（原文）

One of the key challenges of modern AI models is ensuring that they provide helpful responses to benign queries while refusing malicious ones. But often, the models are vulnerable to multimodal queries with harmful intent embedded in images. One approach for safety alignment is training with extensive safety datasets at the significant costs in both dataset curation and training. Inference-time alignment mitigates these costs, but introduces two drawbacks: excessive refusals from misclassified benign queries and slower inference speed due to iterative output adjustments. To overcome these limitations, we propose to reformulate queries to strengthen cross-modal attention to safety-critical image regions, enabling accurate risk assessment at the query level. Using the assessed risk, it adaptively steers activations to generate responses that are safe and helpful without overhead from iterative output adjustments. We call this Risk-adaptive Activation Steering (RAS). Extensive experiments across multiple benchmarks on multimodal safety and utility demonstrate that the RAS significantly reduces attack success rates, preserves general task performance, and improves inference speed over prior inference-time defenses.