Can LLMs Take Retrieved Information with a Grain of Salt?

📄 arXiv: 2605.06919v1 📥 PDF

作者: Behzad Shayegh, Mohamed Osama Ahmed, Fred Tung, Leo Feng

分类: cs.CL

发布日期: 2026-05-07

💡 一句话要点

提出基于交互设计的上下文确定性校准策略，显著提升LLM对检索信息置信度的判别与响应能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 大型语言模型 不确定性量化 提示工程 模型可靠性 交互设计

📋 核心要点

  1. 核心问题：LLM在处理检索增强信息时，往往无法根据上下文的确定性程度调整响应，表现出对不确定信息的盲目信任或对先验知识的错误遗忘。
  2. 方法要点：提出一种无需微调的交互策略，通过先验提醒（Prior Reminders）、确定性重校准（Certainty Recalibration）和上下文简化（Context Simplification）来引导模型。
  3. 实验效果：在评估的八种主流LLM上，该策略将上下文确定性服从性错误平均降低了25%，证明了交互设计在提升模型可靠性方面的显著价值。

📝 摘要（中文）

大型语言模型（LLM）在检索增强生成（RAG）方面表现出色，但其根据检索信息的确定性程度调整响应的能力仍未得到充分研究，这在医疗和金融等高风险领域具有严重后果。本文评估了八种LLM在上下文确定性服从性方面的表现，发现模型存在系统性缺陷：在观察到不确定上下文后难以调用先验知识、误解表达的确定性，并倾向于过度信任复杂上下文。为解决这些问题，作者提出了一种结合先验提醒、确定性重校准和上下文简化的交互策略。该方法无需修改模型权重，即可将服从性错误平均降低25%。研究贡献包括一套原则性的评估指标、对LLM不确定性处理机制的实证洞察，以及一种可移植的、提升各类LLM上下文确定性服从性的通用策略。

🔬 方法详解

问题定义：论文旨在解决LLM在RAG场景下对检索信息“照单全收”的问题。现有模型缺乏对上下文置信度的敏感度，无法区分确凿事实与模糊猜测，导致在高风险决策中产生误导性输出。

核心思路：通过优化提示工程（Prompt Engineering）和交互流程，强制模型在生成响应前显式评估上下文的确定性，并根据评估结果动态调整其对检索信息的依赖程度。

技术框架：整体流程包含三个阶段：首先通过“先验提醒”激活模型的自我知识库；其次利用“确定性重校准”模块引导模型识别并标注上下文中的不确定性；最后通过“上下文简化”去除干扰信息，使模型聚焦于核心事实。

关键创新：该方法的核心创新在于将“确定性服从”视为一种可诱导的交互行为，而非模型内在的推理能力缺陷。通过无需修改权重的轻量级交互设计，实现了跨模型的通用性，避免了昂贵的微调成本。

关键设计：关键设计包括一套原则性的评估指标（Context-Certainty Obedience），用于量化模型对不同确定性等级输入的响应偏差，以及一套结构化的提示模板，用于在推理时动态注入确定性约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验覆盖了八种主流LLM，通过构建特定的测试集量化了模型对确定性信息的服从度。结果显示，该交互策略在不改变模型参数的前提下，将服从性错误率平均降低了25%。实验证实了模型在面对复杂上下文时存在明显的“过度信任”偏差，而所提方法能有效缓解这一现象，显著提升了模型在不确定环境下的鲁棒性。

🎯 应用场景

该研究在医疗诊断、法律咨询、金融投资分析等高风险领域具有极高的应用价值。在这些场景中，区分“确凿证据”与“推测性信息”至关重要。该方法可作为RAG系统的中间件，显著提升AI辅助决策的可靠性与安全性，减少因模型过度自信导致的幻觉风险。

📄 摘要（原文）

Large language models have demonstrated impressive retrieval-augmented capabilities. However, a crucial area remains underexplored: their ability to appropriately adapt responses to the certainty of the retrieved information. It is a limitation with real consequences in high-stakes domains like medicine and finance. We evaluate eight LLMs on their context-certainty obedience, measuring how well they adjust responses to match expressed context certainty. Our analysis reveals systematic limitations: LLMs struggle to recall prior knowledge after observing an uncertain context, misinterpret expressed certainties, and overtrust complex contexts. To address these, we propose an interaction strategy combining prior reminders, certainty recalibration, and context simplification. This approach reduces obedience errors by 25% on average, without modifying model weights, demonstrating the efficacy of interaction design in enhancing LLM reliability. Our contributions include a principled evaluation metric, empirical insights into LLMs' uncertainty handling, and a portable strategy to improve context-certainty obedience across diverse LLMs.