Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs
作者: Adel Khorramrouz, Yi-Chia Wang, Sharon Levy
分类: cs.CL, cs.CY
发布日期: 2026-10-14
备注: 17 pages, 6 figures
💡 一句话要点
提出多代理框架以利用道德基础理论破解大型语言模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 道德基础理论 安全防护 多代理系统 道德化请求 心理学 破解技术
📋 核心要点
- 现有的安全防护措施在面对道德化请求时表现出脆弱性，导致大型语言模型可能被利用进行有害行为。
- 论文提出了一种基于道德基础理论的多代理框架，通过识别和重构有害请求来实现道德化，进而绕过安全防护。
- 实验结果表明，模型在面对道德化请求时的破解率显著提高，且在多次尝试下成功率进一步上升，显示出安全基准的不平衡性。
📝 摘要（中文）
社会心理学长期以来描述了人们如何被说服将有害行为解读为道德行为。最近的研究表明，大型语言模型（LLMs）在某些方面反映了人类心理学的特征，包括认知偏见和社会从众。这引发了一个直接关系到安全性的问题：LLMs是否可以被道德化以绕过安全防护？本文通过基于道德基础理论（MFT）的多代理框架回答了这一问题。针对最初被拒绝的有害请求，代理诊断提示违反了哪个道德基础，识别出在某种合理基础下该请求看似美德的方式，并相应重写提示，辅以生成的可比道德重构的先例。我们在三个知名的破解数据集上评估了该框架，结果显示模型对道德化高度敏感，单次破解率高，且在重复尝试下成功率进一步提高。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在面对有害请求时的安全防护不足，尤其是如何通过道德化来绕过这些防护。现有方法未能有效应对道德化带来的挑战。
核心思路：论文的核心思路是利用道德基础理论，通过多代理系统识别有害请求的道德基础，并重构请求，使其在道德上看似合理，从而实现绕过安全防护。
技术框架：整体架构包括多个代理，首先诊断提示违反的道德基础，然后识别合理的道德基础，重写请求，并生成相关的道德重构先例。
关键创新：最重要的技术创新在于将道德基础理论应用于大型语言模型的安全性研究，通过道德化策略实现对有害请求的有效重构，与现有方法相比，提供了新的视角和解决方案。
关键设计：在设计中，代理的道德基础识别算法、重写策略和生成先例的机制是关键技术细节，确保了重构请求的有效性和合理性。具体的参数设置和损失函数设计也对模型的表现产生了重要影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在面对道德化请求时的单次破解率显著提高，且在重复尝试下成功率进一步上升，表明模型对道德化的高度敏感性。此外，安全基准在不同道德基础上的不平衡性也被揭示，强调了现有防护措施的局限性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全性评估和增强，尤其是在内容生成、对话系统和自动化决策等场景中。通过理解和应对道德化请求，可以提升模型的安全性和可靠性，减少被滥用的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Social psychology has long described how people can be persuaded to interpret a harmful act as moral. Recent research suggests that Large Language Models (LLMs) echo aspects of human psychology, from cognitive biases to social conformity. This raises a question with direct safety implications: can LLMs be moralized to bypass safety guardrails? We answer this question with a multi-agent framework grounded in Moral Foundations Theory (MFT). Given a harmful request that is initially refused, our agents diagnose which moral foundation (MF) the prompt is violating, identify a justifiable foundation under which the same request appears virtuous, rewrite the prompt accordingly, and reinforce it with generated precedents of comparable moral reframing. We evaluate our framework on harmful prompts from three well-known jailbreak datasets across five open-source and proprietary models. Our analysis reveals that models are highly susceptible to moralization, exhibiting high single-trial jailbreak rates with success increasing further under repeated attempts. We also find that safety benchmarks are imbalanced in the MFs they violate, concentrating on foundations toward which models already exhibit biases.