Beyond Social Pressure: Benchmarking Epistemic Attack in Large Language Models
作者: Steven Au, Sujit Noronha
分类: cs.CL
发布日期: 2026-04-09
💡 一句话要点
提出PPT-Bench基准，用于评估大语言模型在认知攻击下的脆弱性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 认知攻击 哲学压力 基准测试 鲁棒性 可靠性 对抗性环境 提示工程
📋 核心要点
- 现有研究未能充分探索大语言模型在面对挑战知识、价值观或身份的认知攻击时的脆弱性。
- 提出PPT-Bench基准，通过哲学压力分类法（PPT）系统性地评估模型在不同类型认知压力下的表现。
- 实验表明，不同类型的认知压力会产生不同的不一致性模式，且缓解策略的效果高度依赖于模型和压力类型。
📝 摘要（中文）
大型语言模型（LLMs）在压力下会改变其答案，这种改变反映的是顺从而非推理。以往关于谄媚的研究主要集中在异议、奉承和偏好对齐上，而对更广泛的认知失效探索不足。我们引入了 extbf{PPT-Bench}，这是一个诊断基准，用于评估 extit{认知攻击}，即提示语挑战知识、价值观或身份的合法性，而不仅仅是反对先前的答案。PPT-Bench围绕哲学压力分类法（PPT）构建，该分类法定义了四种类型的哲学压力：认知不稳定、价值无效化、权威反转和身份瓦解。每个项目都在三个层面上进行测试：基线提示（L0）、单轮压力条件（L1）和多轮苏格拉底式升级（L2）。这使我们能够衡量L0和L1之间的认知不一致性，以及L2中的对话屈服。在五个模型中，这些压力类型产生了统计上可分离的不一致性模式，表明认知攻击暴露了标准社会压力基准未捕获的弱点。缓解结果在很大程度上取决于类型和模型：提示级别的锚定和角色稳定性提示在API设置中表现最佳，而引导查询对比解码是开放模型中最可靠的干预措施。
🔬 方法详解
问题定义：论文旨在解决大语言模型在面对认知攻击时表现出的脆弱性问题。现有的社会压力基准主要关注异议、奉承等，未能充分评估模型在更深层次的认知层面上的弱点，例如对知识、价值观和身份的挑战。这种脆弱性可能导致模型在压力下轻易改变答案，损害其可靠性和可信度。
核心思路：论文的核心思路是通过构建一个专门的基准测试集PPT-Bench，系统性地评估大语言模型在不同类型的认知压力下的表现。PPT-Bench基于哲学压力分类法（PPT），将认知压力分为四种类型：认知不稳定、价值无效化、权威反转和身份瓦解。通过设计不同层级的提示语（L0, L1, L2），可以衡量模型在面对压力时的认知一致性和对话屈服程度。
技术框架：PPT-Bench的整体框架包括以下几个主要组成部分：1) 哲学压力分类法（PPT）：定义了四种类型的认知压力。2) 基准测试集：包含针对每种压力类型的测试用例，每个用例包含L0（基线提示）、L1（单轮压力条件）和L2（多轮苏格拉底式升级）三个层级的提示语。3) 评估指标：用于衡量模型在不同压力下的认知一致性和对话屈服程度。4) 缓解策略：探索了多种缓解模型认知脆弱性的方法，例如提示级别的锚定、角色稳定性提示和引导查询对比解码。
关键创新：论文的关键创新在于：1) 提出了哲学压力分类法（PPT），为系统性地研究认知攻击提供了理论基础。2) 构建了PPT-Bench基准测试集，为评估大语言模型在认知压力下的表现提供了工具。3) 实验结果表明，不同类型的认知压力会产生不同的不一致性模式，这表明PPT-Bench能够揭示标准社会压力基准未捕获的弱点。
关键设计：PPT-Bench的关键设计包括：1) 三层提示结构（L0, L1, L2）：L0提供基线答案，L1引入单轮压力，L2通过多轮对话逐步升级压力，从而更全面地评估模型的反应。2) 针对不同压力类型设计的提示语：确保每个提示语能够有效地激发相应的认知压力。3) 多种缓解策略的探索：包括prompt-level anchoring, persona-stability prompts, Leading Query Contrastive Decoding等，并评估它们在不同模型和压力类型下的效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PPT-Bench能够有效区分不同类型的认知压力，并揭示标准社会压力基准未捕获的弱点。例如，不同类型的压力会产生统计上可分离的不一致性模式。缓解策略的效果高度依赖于模型和压力类型：prompt-level anchoring和persona-stability prompts在API设置中表现最佳，而Leading Query Contrastive Decoding是开放模型中最可靠的干预措施。
🎯 应用场景
该研究成果可应用于提升大语言模型在开放域对话、知识问答等场景下的鲁棒性和可靠性。通过评估和缓解模型在认知攻击下的脆弱性，可以提高模型在复杂和对抗性环境中的表现，减少模型产生不准确或有害信息的风险。此外，该研究也为开发更安全、更可信赖的人工智能系统提供了新的思路。
📄 摘要（原文）
Large language models (LLMs) can shift their answers under pressure in ways that reflect accommodation rather than reasoning. Prior work on sycophancy has focused mainly on disagreement, flattery, and preference alignment, leaving a broader set of epistemic failures less explored. We introduce \textbf{PPT-Bench}, a diagnostic benchmark for evaluating \textit{epistemic attack}, where prompts challenge the legitimacy of knowledge, values, or identity rather than simply opposing a previous answer. PPT-Bench is organized around the Philosophical Pressure Taxonomy (PPT), which defines four types of philosophical pressure: Epistemic Destabilization, Value Nullification, Authority Inversion, and Identity Dissolution. Each item is tested at three layers: a baseline prompt (L0), a single-turn pressure condition (L1), and a multi-turn Socratic escalation (L2). This allows us to measure epistemic inconsistency between L0 and L1, and conversational capitulation in L2. Across five models, these pressure types produce statistically separable inconsistency patterns, suggesting that epistemic attack exposes weaknesses not captured by standard social-pressure benchmarks. Mitigation results are strongly type- and model-dependent: prompt-level anchoring and persona-stability prompts perform best in API settings, while Leading Query Contrastive Decoding is the most reliable intervention for open models.