Which Knowledge Should LLMs Trust? Uncovering a Generalizable Steering Direction Across Knowledge Conflicts
作者: Yibin Lou, Yi Hu, Jianhui Chen, Chenpeng Wang, Muhan Zhang, Liangming Pan
分类: cs.CL, cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出一种可转移的知识选择方向以解决LLMs知识冲突问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识选择 知识冲突 模型残差流 任务转移
📋 核心要点
- 现有大型语言模型在处理内部知识与外部上下文知识冲突时，缺乏明确的选择机制，导致模型性能不稳定。
- 论文提出了一种通过模型残差流中的单一方向来控制知识选择的方法，能够在不同的事实冲突场景中有效应用。
- 实验结果表明，所提出的知识选择方向在多个模型和任务中均能显著提升模型对提示信息的利用效率。
📝 摘要（中文）
大型语言模型（LLMs）经常面临内部参数知识与外部上下文知识之间的冲突，但其选择机制尚不明确。本文展示了在模型的残差流中，选择上下文与参数知识的过程可以通过一个线性方向进行控制。研究表明，该方向在多种事实冲突设置中具有普遍性，并能够在参数和上下文答案之间一致地调整模型行为。此外，研究还将从简单事实冲突中学习到的方向转移到更复杂的任务中，结果显示在多个模型家族和转移设置中，指导模型使用提示信息的效果显著优于未指导模型。这些结果表明，该方向捕捉了对外部知识的可转移偏好，而非特定于事实冲突的机制。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在面对内部参数知识与外部上下文知识冲突时的选择机制不明确的问题。现有方法在不同知识来源之间的选择缺乏一致性，导致模型输出不稳定。
核心思路：论文提出通过模型的残差流来控制知识选择的方向，利用线性表示来调整模型在参数知识与上下文知识之间的偏好。这种方法能够在不同的事实冲突设置中保持一致性。
技术框架：整体架构包括知识选择的方向学习、模型残差流的调整以及在不同任务中的转移应用。主要模块包括知识冲突检测、方向学习模块和任务适应模块。
关键创新：最重要的技术创新点在于提出了一个可转移的知识选择方向，该方向不仅适用于简单的事实冲突，还能有效应用于更复杂的任务，如检索增强生成（RAG）、记忆和规则遵循等。与现有方法相比，该方向提供了一种更为灵活和普遍的知识选择机制。
关键设计：在参数设置上，模型通过调整残差流中的权重来实现知识选择方向的控制。损失函数设计上，采用了结合上下文和参数知识的复合损失，以优化模型在不同任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的知识选择方向在四个模型家族和多个转移设置中均显著提升了模型对提示信息的利用效率，提升幅度超过了未指导模型的表现，表明该方法在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话生成和信息检索等。通过优化大型语言模型在知识选择上的表现，可以提升其在复杂任务中的准确性和可靠性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Large Language Models (LLMs) frequently encounter conflicts between internal parametric knowledge and external contextual knowledge, yet the mechanisms governing this selection remain unclear. We show that the choice between context and parametric knowledge is linearly represented and can be controlled along a single direction in the model's residual stream. We first demonstrate that this direction generalizes across factual-conflict settings, including context formats, knowledge categories, and datasets, while consistently shifting behavior between parametric and contextual answers. We then transfer a direction learned from simple factual conflicts to three more complex task families: RAG, memory, and rule following, where models must acquire information from retrieved documents, interaction histories, or explicit rules. Across four model families and multiple transfer settings, steering consistently improves the use of prompt-provided information over the unsteered model. These results suggest that the direction captures a transferable preference for external knowledge rather than a mechanism specific to factual conflicts.