From Hallucinations to Jailbreaks: Rethinking the Vulnerability of Large Foundation Models

📄 arXiv: 2505.24232v1 📥 PDF

作者: Haibo Jin, Peiyan Zhang, Peiran Wang, Man Luo, Haohan Wang

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-05-30

💡 一句话要点

提出统一框架以解决大型基础模型的幻觉与越狱攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型基础模型 幻觉 越狱攻击 优化方法 安全性

📋 核心要点

  1. 大型基础模型在幻觉和越狱攻击方面存在脆弱性，现有防御方法往往只针对其中一种，忽视了它们之间的关联。
  2. 本文提出了一个统一的理论框架，将越狱攻击视为令牌级优化，幻觉视为注意力级优化，揭示了它们之间的深层联系。
  3. 通过在多个模型上的实证研究，验证了优化趋势和梯度一致性，表明针对一种脆弱性的缓解措施也能有效改善另一种脆弱性。

📝 摘要（中文）

大型基础模型（LFM）容易受到两种不同的脆弱性影响：幻觉和越狱攻击。尽管通常单独研究，我们观察到针对一种脆弱性的防御往往会影响另一种，暗示它们之间存在更深层的联系。本文提出了一个统一的理论框架，将越狱攻击建模为令牌级优化，而将幻觉建模为注意力级优化。我们建立了两个关键命题：1）相似损失收敛性——当优化特定目标输出时，两种脆弱性的损失函数收敛方式相似；2）注意力重分配中的梯度一致性——两者都表现出由共享注意力动态驱动的一致梯度行为。通过在LLaVA-1.5和MiniGPT-4上的实证验证，我们展示了优化趋势的一致性和梯度的对齐。利用这一联系，我们证明了幻觉的缓解技术可以降低越狱成功率，反之亦然。我们的发现揭示了LFM的共同失效模式，并建议稳健性策略应共同解决这两种脆弱性。

🔬 方法详解

问题定义：本文旨在解决大型基础模型在幻觉和越狱攻击方面的脆弱性，现有方法往往只关注单一问题，缺乏对两者关系的深入理解。

核心思路：通过建立统一的理论框架，将越狱攻击和幻觉分别建模为令牌级和注意力级的优化问题，从而揭示它们之间的内在联系。

技术框架：该框架包括两个主要模块：一是针对越狱攻击的令牌级优化，二是针对幻觉的注意力级优化，二者通过共享的注意力动态相互影响。

关键创新：提出了相似损失收敛性和注意力重分配中的梯度一致性两个命题，揭示了两种脆弱性之间的共性，推动了对LFM的理解。

关键设计：在实验中使用了LLaVA-1.5和MiniGPT-4模型，设计了特定的损失函数和优化策略，以验证理论框架的有效性和实用性。通过调整模型参数，观察到优化过程中的一致性和有效性。

📊 实验亮点

实验结果表明，针对幻觉的缓解技术能够有效降低越狱攻击的成功率，反之亦然。在LLaVA-1.5和MiniGPT-4模型上，优化趋势和梯度一致性得到了验证，显示出显著的性能提升，具体数据未公开。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够提高大型基础模型的安全性和可靠性。通过共同解决幻觉和越狱攻击问题，未来的模型将更具鲁棒性，能够在更复杂的应用场景中表现出色。

📄 摘要（原文）

Large foundation models (LFMs) are susceptible to two distinct vulnerabilities: hallucinations and jailbreak attacks. While typically studied in isolation, we observe that defenses targeting one often affect the other, hinting at a deeper connection. We propose a unified theoretical framework that models jailbreaks as token-level optimization and hallucinations as attention-level optimization. Within this framework, we establish two key propositions: (1) \textit{Similar Loss Convergence} - the loss functions for both vulnerabilities converge similarly when optimizing for target-specific outputs; and (2) \textit{Gradient Consistency in Attention Redistribution} - both exhibit consistent gradient behavior driven by shared attention dynamics. We validate these propositions empirically on LLaVA-1.5 and MiniGPT-4, showing consistent optimization trends and aligned gradients. Leveraging this connection, we demonstrate that mitigation techniques for hallucinations can reduce jailbreak success rates, and vice versa. Our findings reveal a shared failure mode in LFMs and suggest that robustness strategies should jointly address both vulnerabilities.