Recovering Agentic Sovereignty: Mitigating the Consensus Paradox via Contrastive Epistemic Decoding

📄 arXiv: 2609.25570v1 📥 PDF

作者: Dahlia Shehata, Ming Li

分类: cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出对比认知解码以缓解共识悖论问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对比解码 从众偏见 零-shot推理 自然语言处理 模型优化

📋 核心要点

  1. 现有的大型语言模型在面对对抗性共识时存在参数脆弱性，导致从众偏见影响模型输出。
  2. 本文提出的对比认知解码（CED）通过双前向传递和新颖的概率夹来隔离从众偏见，避免了依赖次级模型的不足。
  3. 在7200对轨迹的实验中，CED显著降低了认知懒惰，并实现了高达30.75%的准确性提升，展示了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在面对对抗性群体共识时表现出参数脆弱性。为此，本文提出了对比认知解码（CED），作为一种零-shot推理干预方法。与依赖于较弱次级模型的标准对比解码（CD）不同，CED通过在单一架构上进行双前向传递来隔离从众偏见。通过引入新颖的非对称零界概率夹和离散的top-k截断掩码，CED在不导致语法崩溃的情况下，数学上抑制有害的共识标记。在使用Gemma-2、Llama-3.1和Mistral v0.3进行的7200对轨迹的复杂基准测试中，CED成功中和了架构和位置偏见。通过将认知懒惰降低最多33.00%，CED实现了高达30.75%的准确性恢复。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在对抗性群体共识下的参数脆弱性，现有方法如标准对比解码（CD）依赖于较弱的次级模型，无法有效隔离从众偏见。

核心思路：CED通过在单一架构上进行双前向传递，利用非对称零界概率夹和离散top-k截断掩码，抑制有害共识标记，从而避免语法崩溃。

技术框架：CED的整体架构包括双前向传递、概率夹和截断掩码三个主要模块，首先通过双前向传递获取模型输出，然后应用概率夹和截断掩码来处理输出，最终得到去偏见的结果。

关键创新：CED的核心创新在于其独特的双前向传递机制和概率夹设计，这与传统方法依赖次级模型的方式有本质区别，能够更有效地隔离和抑制从众偏见。

关键设计：CED引入了非对称零界概率夹，确保在抑制有害标记的同时不影响语法结构。此外，离散的top-k截断掩码用于选择最优输出，进一步提升模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CED在7200对轨迹的实验中表现出色，成功中和了架构和位置偏见，认知懒惰降低最多33.00%，准确性恢复高达30.75%。这些结果表明CED在提升模型性能方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过减轻模型的从众偏见，CED能够提升模型在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。未来，CED可能会影响大型语言模型的设计和训练方法，推动更高效的模型开发。

📄 摘要（原文）

Large language models (LLMs) exhibit a parametric vulnerability to adversarial swarm consensus. To mitigate this sycophancy, we introduce Contrastive Epistemic Decoding (CED), a zero-shot inference intervention. Unlike standard Contrastive Decoding (CD) which relies on a weaker secondary model, CED utilizes a dual forward-pass on a single architecture to isolate conformity bias. By introducing a novel asymmetric, zero-bounded probability clamp and discrete top-k truncation mask, CED mathematically suppresses toxic consensus tokens without causing grammatical collapse. Evaluated across 7,200 paired trajectories on complex benchmarks (GAIA, SWE-bench, Multi-Challenge) using Gemma-2 (9B), Llama-3.1 (8B), and Mistral v0.3 (7B), CED successfully neutralizes architectural and positional biases. By reducing cognitive loafing by up to 33.00% absolute, CED drives significant performance gains, yielding up to a 30.75% accuracy recovery. Regaining sovereignty induces distinct architectural behaviors---passive task-focus in Gemma-2 and active refutation of the simulated swarm in Llama-3.1---showing CED decouples compliance from capability without fine-tuning.