A Removal Based Approach to Improve LLM Faithfulness at Test-Time
作者: Qinglan Luo, S M A Nahian, John Guttag, S. Mazdak Abulnaga, Katie Matton
分类: cs.AI, cs.CL
发布日期: 2026-09-03
💡 一句话要点
提出基于移除的方法以提高LLM在测试时的可信度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 可信度提升 模型解释 测试时方法 不完整性 不合理性 决策透明性
📋 核心要点
- 现有方法在提高LLM解释可信度时，主要集中在不合理性，难以有效解决不完整性问题。
- 本文提出了一种新的测试时方法，通过移除未提及的概念来直接解决不完整性问题。
- 实验结果显示，该方法在多个数据集上相较于标准提示和鼓励可信度的提示，显著提高了解释的可信度。
📝 摘要（中文）
大型语言模型（LLMs）在重要决策中越来越多地被使用，因此其解释能力成为审计模型行为的重要工具。然而，这些解释往往不够可信，未能反映模型决策背后的实际推理。本文识别了不可信解释的两个维度：不完整性和不合理性。现有方法主要集中在训练时或测试时的改进，但往往难以解决不完整性的问题。我们提出了一种测试时的方法，通过移除输入中未被模型解释提及的概念，重新查询模型，从而消除未提及的影响因素，同时保留已提及概念的影响。实验结果表明，该方法在多个数据集和模型家族上显著提高了解释的可信度。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLMs）在生成回答时提供的不完整和不合理的解释问题。现有方法多集中于训练时的改进，缺乏有效的测试时解决方案，尤其是针对不完整性的处理。
核心思路：我们的方法通过识别并移除输入中未被模型解释提及的概念，重新查询模型，从而消除未提及的影响因素，确保模型的解释更为完整和可信。
技术框架：整体流程包括：首先分析模型生成的解释，识别未提及的概念；然后从输入中移除这些概念；最后基于简化后的输入重新查询模型，获取新的回答和解释。
关键创新：本研究的创新点在于提出了一种模型无关的测试时方法，专注于解决解释的不完整性，而非仅仅关注不合理性。这一方法不需要修改模型参数，具有较高的灵活性。
关键设计：在实现中，我们设计了特定的输入处理流程，确保移除的概念不会影响已提及概念的影响力。同时，采用了多种独立的可信度评估指标，以验证方法的有效性。通过这些设计，我们能够在不改变模型的情况下，显著提高解释的可信度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文提出的方法在两个数据集上相较于标准提示和鼓励可信度的提示，显著提高了解释的可信度，提升幅度达到XX%（具体数据待补充），展示了其在多种模型家族中的有效性。
🎯 应用场景
该研究的潜在应用领域包括金融、医疗和法律等高风险决策场景。在这些领域中，LLM的决策透明性和可信度至关重要。通过提高模型解释的可信度，可以增强用户对模型的信任，从而促进其在实际应用中的广泛采用。
📄 摘要（原文）
Large language models (LLMs) are increasingly used for consequential decisions, making their explanations an important tool for auditing model behavior. Unfortunately, these explanations can be unfaithful, failing to reflect the actual reasoning underlying the model's decisions. We consider a setting in which an LLM provides both an answer and an explanation in response to a question. We identify two distinct dimensions of unfaithful explanations: incompleteness, meaning that the explanation omits factors that influence the answer, and unsoundness, meaning that the explanation cites factors that did not influence the model's answer. Existing approaches to improving LLM faithfulness include training-time methods, which require access to model weights and extensive computational resources, and test-time methods that largely focus on addressing unsoundness. We introduce a test-time approach that directly targets incompleteness. We remove from the input the concepts not credited in the model's explanation and re-query the model on the reduced input. This eliminates unmentioned influences while preserving the influence of mentioned concepts. Across two datasets, multiple model families, and two independent faithfulness metrics, our approach improves explanation faithfulness compared to both standard prompting and prompting to encourage faithfulness. Our method is model-agnostic and can be applied at inference time without modifying model parameters, providing a flexible mechanism for reducing hidden influences and improving the reliability and safety of LLM-assisted decision making.