Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

📄 arXiv: 2605.12185v1 📥 PDF

作者: Yigeng Zhou, Wu Li, Yifan Lu, Yequan Wang, Xuebo Liu, Wenya Wang, Jun Yu, Min Zhang, Jing Li

分类: cs.CL, cs.AI

发布日期: 2026-05-12

备注: Accepted by IEEE TASLP

💡 一句话要点

提出DCRD动态认知协调解码，缓解大语言模型中的上下文-记忆冲突

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识冲突 动态解码 注意力机制 问答系统

📋 核心要点

  1. 现有方法在解决LLM知识冲突时，静态方法会扰乱输出分布，动态方法难以应对复杂场景。
  2. DCRD通过分析注意力图预测上下文保真度，并动态选择贪婪解码或基于上下文保真度的解码路径。
  3. 实验表明，DCRD在多个QA数据集上优于现有基线，并在ConflictKG基准上实现了SOTA性能。

📝 摘要（中文）

大型语言模型通过预训练积累了广泛的参数知识。然而，当过时或不正确的参数知识与上下文中的外部知识发生冲突时，就会出现知识冲突。现有的方法通过对比解码来解决知识冲突，但在无冲突的情况下，静态方法会扰乱输出分布。其他动态解码方法试图衡量冲突程度，但在复杂的现实场景中仍然面临挑战。本文提出了一种名为动态认知协调解码（DCRD）的两阶段解码方法，用于预测和缓解上下文-记忆冲突。DCRD首先分析注意力图以评估上下文保真度并预测潜在冲突。基于此预测，输入被定向到两个解码路径之一：（1）贪婪解码，或（2）基于上下文保真度的动态解码。这种设计使DCRD能够有效地处理冲突，同时在无冲突情况下保持高精度和解码效率。此外，为了模拟频繁知识更新的场景，我们构建了ConflictKG，一个知识冲突QA基准。在六个QA数据集上对四个LLM进行的实验表明，DCRD优于所有基线，实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的上下文-记忆冲突问题。具体来说，LLM在预训练过程中学习到的参数知识可能与当前上下文提供的外部知识相冲突，导致模型生成错误或不一致的答案。现有方法，如对比解码，虽然可以缓解冲突，但在没有冲突的情况下会影响输出分布。其他动态解码方法在复杂场景下难以准确衡量冲突程度。

核心思路：论文的核心思路是设计一种动态的解码策略，根据上下文的保真度自适应地选择不同的解码路径。如果模型认为上下文是可靠的，则采用贪婪解码以保证效率；如果检测到潜在的冲突，则采用基于上下文保真度的动态解码，以缓解冲突。这种设计的目的是在冲突和非冲突场景之间取得平衡，既能有效处理冲突，又能保持高精度和解码效率。

技术框架：DCRD包含两个主要阶段：冲突预测和动态解码。在冲突预测阶段，模型分析注意力图，评估上下文的保真度，并预测潜在的上下文-记忆冲突。在动态解码阶段，根据冲突预测的结果，输入被路由到两个解码路径之一：如果预测没有冲突，则采用贪婪解码；如果预测存在冲突，则采用基于上下文保真度的动态解码。

关键创新：DCRD的关键创新在于其动态的解码策略，能够根据上下文的保真度自适应地选择不同的解码路径。与现有方法相比，DCRD不是静态地应用某种解码策略，而是根据输入动态地调整解码过程，从而更好地适应不同的场景。此外，ConflictKG基准的构建也为研究知识冲突问题提供了新的资源。

关键设计：DCRD的关键设计包括：1) 使用注意力图来评估上下文保真度，这是一种有效的方法来检测潜在的冲突；2) 设计了两种解码路径，贪婪解码和基于上下文保真度的动态解码，以适应不同的场景；3) 构建了ConflictKG基准，用于评估模型在知识冲突场景下的性能。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCRD在六个QA数据集上优于所有基线模型，实现了最先进的性能。特别是在ConflictKG基准上，DCRD取得了显著的提升，验证了其在知识冲突场景下的有效性。例如，在某个数据集上，DCRD相比最佳基线提升了X%，证明了其优越性。

🎯 应用场景

该研究成果可应用于各种需要大型语言模型进行知识密集型问答的场景，例如智能客服、知识图谱问答、信息检索等。通过缓解上下文-记忆冲突，DCRD可以提高LLM在这些场景下的准确性和可靠性，从而提升用户体验。未来，该方法可以进一步扩展到其他自然语言处理任务，例如文本摘要、机器翻译等。

📄 摘要（原文）

Large language models accumulate extensive parametric knowledge through pre-training. However, knowledge conflicts occur when outdated or incorrect parametric knowledge conflicts with external knowledge in the context. Existing methods address knowledge conflicts through contrastive decoding, but in conflict-free scenarios, static approaches disrupt output distribution. Other dynamic decoding methods attempt to measure the degree of conflict but still struggle with complex real-world situations. In this paper, we propose a two-stage decoding method called Dynamic Cognitive Reconciliation Decoding (DCRD), to predict and mitigate context-memory conflicts. DCRD first analyzes the attention map to assess context fidelity and predict potential conflicts. Based on this prediction, the input is directed to one of two decoding paths: (1) greedy decoding, or (2) context fidelity-based dynamic decoding. This design enables DCRD to handle conflicts efficiently while maintaining high accuracy and decoding efficiency in conflict-free cases. Additionally, to simulate scenarios with frequent knowledge updates, we constructed ConflictKG, a knowledge conflict QA benchmark. Experiments on four LLMs across six QA datasets show that DCRD outperforms all baselines, achieving state-of-the-art performance.