Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks
作者: Fengwei Tian, Ravi Tandon
分类: cs.CR, cs.IT, cs.LG
发布日期: 2026-10-01
💡 一句话要点
提出信息论框架以解决语言模型的意图隐藏攻击问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 意图隐藏 越狱攻击 信息论 大型语言模型 安全性评估 对抗性训练 模型鲁棒性
📋 核心要点
- 现有方法在处理组合意图隐藏攻击时，缺乏有效的理论框架，导致对有害意图的识别和防范不足。
- 论文提出了一种信息论框架，通过先验-后验匹配的方法来选择任务，从而在保留有害目标的同时不改变意图的估计。
- 实验结果表明，在不同的任务组合和查询生成器下，组合查询能够引发超出直接请求基线的目标行为，同时存在响应级目标保留与组合大小之间的权衡。
📝 摘要（中文）
近年来的研究表明，大型语言模型（LLMs）在被称为越狱攻击的情况下可能存在脆弱性，其中有害意图通过与良性任务的组合被掩盖。本文从信息论的角度研究了这种组合意图隐藏的越狱攻击。我们提出了一种方法，通过选择辅助任务使得有害意图的先验和后验概率匹配，从而在保持有害目标的同时不改变估计的意图。我们分析了查询独立和查询依赖两种设置下的任务选择和查询构造，评估了越狱的有效性及目标行为的保留情况。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在组合意图隐藏攻击中的脆弱性，现有方法未能有效识别和防范这种攻击形式。
核心思路：通过信息论的视角，提出先验-后验匹配的策略，选择辅助任务以保持有害意图的估计不变，同时保留有害目标。
技术框架：研究分为查询独立和查询依赖两种设置。在查询独立设置中，任务选择不考虑最终查询的表达方式；在查询依赖设置中，任务选择与查询构造共同优化。
关键创新：提出的先验-后验匹配方法是本研究的核心创新，与现有方法相比，能够在保持有害目标的同时不改变意图的估计，提供了更为精确的攻击模型。
关键设计：在查询独立设置中，推导了在束大小约束下的最优水填充解，并确定了满足安全阈值的最小束；在查询依赖设置中，评估了任务选择和查询构造的联合效果。实验中考虑了多种开源模型和查询生成器。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在不同的任务组合和查询生成器下，组合查询能够引发超出直接请求基线的目标行为。随着组合大小的增加，多个模型的响应级目标保留倾向于下降，揭示了组合大小与目标保留之间的权衡关系。
🎯 应用场景
该研究的潜在应用领域包括安全性评估、对抗性训练和模型鲁棒性提升。通过理解和防范意图隐藏攻击，可以增强大型语言模型在实际应用中的安全性，降低被恶意利用的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent work has shown that large language models (LLMs) can be vulnerable to jailbreak attacks in which harmful intent is obscured through composition with benign tasks. A harmful request refused in isolation may elicit a different response when embedded within a larger, seemingly benign query. We study these compositional intent-hiding jailbreaks from an information-theoretic perspective. Our formulation associates each task with an estimated probability of being judged harmful: the average over the full task collection defines the prior probability of harmful intent, while the average over a selected bundle containing the target defines the posterior. Selecting auxiliary tasks so that these averages agree, which we call prior-posterior matching, leaves the estimated intent unchanged even though the harmful target remains in the bundle. We study two settings that differ in whether query construction is part of the optimization. In the query-independent setting, tasks are selected without regard to how they will be expressed in the final query. We show that exact prior-posterior matching under a bundle-size constraint is computationally hard, derive an optimal water-filling solution for fractional weights, and characterize the smallest bundle satisfying a prescribed safety threshold. In the query-dependent setting, task selection and query construction are considered jointly, and intent concealment and target preservation are evaluated on the resulting query. We evaluate jailbreak effectiveness and preservation of the target behavior across bundle sizes, query generators, and several open-source models. These results show that compositional queries can elicit target behaviors beyond the direct-request baseline under the evaluated search budgets, while revealing a trade-off: as bundle size increases, response-level target preservation tends to decrease for several models.