MOMAT: Mixture of Multiple Atlases for Low-Power Jailbreak Defense of Quantized LLMs

📄 arXiv: 2610.01058v1 📥 PDF

作者: Boyang Li, Bingyu Shen, Weihao Hong, Zhiyuan Jiang, Xinlei Guan, Yan Ma, Miles Q. Li, Yi Sheng, Ruiyang Qin

分类: cs.CR, cs.AI

发布日期: 2026-10-01

备注: 16 pages, 13 figures

💡 一句话要点

提出MOMAT框架以解决量化大语言模型的监狱突破防御问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化模型 监狱突破 安全防护 边缘计算 计算内存 专家混合 知识检索 能效提升

📋 核心要点

  1. 量化大语言模型在边缘设备上的应用面临监狱突破攻击的安全隐患，现有防御方法效果有限。
  2. MOMAT框架通过多重图谱的结构化知识检索与低功耗加速，提供了一种新的防御机制。
  3. 实验表明，MOMAT在处理速度上提升了4.69百万倍，能耗降低至3.32μJ，显示出显著的效率优势。

📝 摘要（中文）

量化的大语言模型因其低延迟和能效在边缘设备上得到广泛应用。然而，模型量化削弱了安全防护，使得量化大语言模型（qLLMs）易受监狱突破攻击。为此，本文提出了MOMAT（多重图谱混合），这是一个硬件增强的安全框架，结合了结构化知识检索与低功耗防御加速。每个图谱代表有害或良性样本集和策略模板的语义集群，支持领域本地化的增强生成防护，缓解了大规模异构安全数据库中的维度诅咒和语义稀疏问题。MOMAT从所有图谱中检索前k个相似特征，并利用轻量级的专家混合检测器进行评估，同时计算内存加速的相似性引擎快速执行低功耗的图谱本地检索。实验结果表明，MOMAT在防御性能上与最先进的方法相当，同时避免了良性过杀，提供了显著的效率提升。

🔬 方法详解

问题定义：本文旨在解决量化大语言模型在边缘设备上易受监狱突破攻击的问题。现有的防御方法在面对量化模型时，往往无法有效保护其安全性，导致潜在的安全隐患。

核心思路：MOMAT框架的核心思想是通过多重图谱的方式，将有害和良性样本进行语义聚类，并结合低功耗的检索机制，以实现高效的安全防护。这样的设计不仅提高了检索的准确性，还降低了能耗。

技术框架：MOMAT的整体架构包括多个主要模块：首先是图谱构建模块，负责生成语义集群；其次是相似性检索模块，利用计算内存加速进行快速检索；最后是专家混合检测模块，评估检索到的特征并进行决策。

关键创新：MOMAT的最大创新在于结合了多重图谱与计算内存加速的检索机制，显著提升了防御效率和能效。这一设计与传统方法相比，能够更好地应对量化模型的安全挑战。

关键设计：在设计中，MOMAT使用了轻量级的专家混合检测器，并通过计算内存技术实现了快速的相似性检索，确保在处理大量查询时仍能保持高效能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

MOMAT在实验中实现了对100个查询批次的处理时间从15,052.44毫秒缩短至3,207.21纳秒，速度提升达4.69百万倍。同时，能耗从8.1×10^7μJ降至3.32μJ，显示出约2.5×10^5倍的能量减少，展现了显著的效率优势。

🎯 应用场景

MOMAT框架在量化大语言模型的安全防护方面具有广泛的应用潜力，尤其适用于边缘计算设备，如智能手机和物联网设备。其低功耗和高效能的特性使得在资源受限的环境中也能实现安全防护，未来可能推动更多安全性要求高的应用场景的发展。

📄 摘要（原文）

Quantized large language models are increasingly deployed on edge devices for their low latency and energy efficiency. However, model quantization weakens alignment safeguards, leaving qLLMs (quantized large language models) highly vulnerable to jailbreak attacks. To address this challenge, we present MOMAT (Mixture of Multiple Atlases), a hardware-enhanced safety framework that combines structured knowledge retrieval with low-power defense acceleration. Each atlas represents a semantic cluster of harmful or benign sample sets and policy templates, enabling domain-localized Retrieval-Augmented Generation guarding that mitigates the curse of dimensionality and the resulting semantic sparsity problem in large, heterogeneous safety databases. MOMAT retrieves top-$k$ similarity features from all atlases for each prompt and evaluates them using a lightweight MoE (Mixture of Experts) detector, while a CiM (Compute-in-Memory)-accelerated similarity engine performs fast, low-power atlas-local retrieval. MOMAT's CiM-based retrieval accelerates a 100-query batch from 15,052.44 ms to 3,207.21 ns (a $4.69 \times 10^6\times$ speedup) and reduces energy from $8.1 \times 10^7$ $μ$J to 3.32 $μ$J, yielding an approximately $2.5 \times 10^5\times$ energy reduction over DRAM-based (Raspberry Pi) baselines. Red-team evaluations across standard benchmarks show that MOMAT matches the defense performance of state-of-the-art methods while avoiding benign overkill and providing substantial efficiency gains, demonstrating that CiM-based modular defenses can make edge-deployed qLLMs both safer and more energy-efficient. We will release the full 223.2k-sample dataset to foster future research.