From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
作者: Runze Jiang, Taiqiang Wu, Yan Wang, Bingyu Zhu, Longtao Huang
分类: cs.AI, cs.CL
发布日期: 2026-06-09
备注: 27 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出冲突感知解码方法以解决大语言模型中的知识冲突问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 知识冲突 对比解码 冲突感知 自适应范式路由 自然语言处理 信息检索
📋 核心要点
- 现有的对比解码方法在处理外部上下文与参数先验的冲突时存在局限，容易导致错误信息的放大。
- 本文提出的冲突感知解码方法根据冲突信号动态调整先验与上下文的权重，解决了上下文信任度假设的问题。
- 通过TriState-Bench评估协议和自适应范式路由，实验结果显示抗拒性能显著提升，达到16-33的EM值。
📝 摘要（中文）
在大语言模型生成过程中，外部上下文与参数先验之间的冲突是一个重要的可靠性瓶颈。现有的对比解码方法采用了单向增强上下文的“上下文感知”范式，这在上下文错误时会覆盖正确的先验。本文提出了一种“冲突感知”范式，根据冲突信号动态分配先验与上下文的权重，避免了假设上下文可信的局限性。通过引入自适应范式路由（ARR），我们在不牺牲纠正或一致性的情况下，将抗拒的EM从6提升至16-33。我们的代码已在GitHub上公开。
🔬 方法详解
问题定义：本文旨在解决大语言模型生成过程中外部上下文与参数先验之间的知识冲突问题。现有的对比解码方法在上下文错误时会覆盖正确的先验，导致生成结果的不可靠性。
核心思路：提出了一种“冲突感知”解码方法，通过动态分配先验与上下文的权重，基于冲突信号而非假设上下文的可信度来进行解码。
技术框架：整体架构包括冲突信号的检测、先验与上下文的权重分配，以及自适应范式路由（ARR）模块。ARR模块在每一步中根据当前状态选择合适的解码范式。
关键创新：最重要的创新在于引入了冲突感知的范式，能够动态调整先验与上下文的权重，解决了现有方法的局限性，避免了静态解码带来的错误放大问题。
关键设计：在设计上，采用了仿射组合的方式处理先验与上下文的logits，并通过TriState-Bench评估三种冲突状态：纠正、抗拒和一致性。ARR的实现使得抗拒性能显著提升，且不影响纠正和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用自适应范式路由后，抗拒的EM值从6提升至16-33，显示出显著的性能提升。此外，本文提出的TriState-Bench评估协议为模型的冲突状态提供了全面的测量标准，增强了评估的准确性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等。通过提高大语言模型在复杂上下文中的生成可靠性，能够更好地支持智能助手、自动问答系统等实际应用，提升用户体验和系统性能。
📄 摘要（原文）
When large language models generate from retrieved or augmented contexts, conflicts between external context and parametric priors remain a central reliability bottleneck. Existing contrastive decoding methods follow a \emph{context-aware} paradigm that unilaterally amplifies context over parametric priors, overwriting correct priors when the context is erroneous. We generalize this to the \textbf{conflict-aware} paradigm that dynamically allocates authority between prior and context based on conflict signals, rather than presupposing context trustworthiness. We show that the affine combination of prior and context logits yields a \textbf{power family} with an inherent \textbf{regime asymmetry}: extrapolation amplifies errors unboundedly when the prior is correct, interpolation under-corrects when the context is correct, and no static regime covers both. Existing contrastive decoding methods are instances of this family, mostly extrapolative. To evaluate both conflict directions, we propose TriState-Bench, a model-aware evaluation protocol that calibrates per-model prior knowledge to measure three conflict states: correction, resistance, and agreement. To resolve the asymmetry, we propose Adaptive Regime Routing (ARR), which routes between regimes at each step, lifting resistance EM from below 6 to 16--33 without sacrificing correction or agreement. Our code is available at https://github.com/keith-Jiang/conflict-aware-decoding.