Do Language Models Trust Their Own Justifications? A Study on Functional Consistency
作者: Alisson Rosa Pereira, Bruno Iochins Grisci
分类: cs.AI, cs.LG
发布日期: 2026-10-23
备注: 6 pages, 2 figures, 1 table. Author accepted manuscript. Published in International Joint Conference on Neural Networks (IJCNN), Maastricht, Netherlands, 2026
期刊: 2026 International Joint Conference on Neural Networks (IJCNN), Maastricht, Netherlands, 2026, pp. 1-6
DOI: 10.1109/IJCNN69854.2026.11728410
💡 一句话要点
提出功能自一致性评估框架以检验语言模型的自我解释可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 自我解释 功能一致性 文本分类 实验框架 自然语言处理 模型评估
📋 核心要点
- 现有研究主要关注语言模型生成解释的文本合理性，缺乏对其功能一致性的评估。
- 本文提出了一种基于自一致性原则的实验框架，通过充分性、全面性和反事实性指标来评估模型的自我解释。
- 实验结果表明，不同LLM在功能一致性上的表现差异，较小模型存在矛盾，而较大模型则表现出过度敏感性。
📝 摘要（中文）
大型语言模型（LLMs）在文本分类任务中被广泛应用，不仅输出类别预测，还生成解释以突出被认为最相关的标记。然而，尚不清楚这些突出元素是否与模型在特定干预下的预测行为一致。本文提出了一种基于自一致性原则的实验框架，通过评估充分性、全面性和反事实性指标，检验模型的功能自一致性。实验结果显示，GPT-4o-mini在所有指标上表现出预期的进展，而Gemma3和Granite8B在充分性下保持一致性，但在更严格的干预下失去一致性。DeepSeek变体则表现出结构性偏差，未能保持充分性或在全面性和反事实性下过度反应。我们的研究为评估LLM自我解释的功能一致性提供了系统的方法论。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成的解释是否与其预测行为一致的问题。现有方法多关注文本合理性，缺乏对模型行为一致性的深入评估。
核心思路：论文提出通过自一致性原则，检验模型在识别关键标记后的预测变化，设计了充分性、全面性和反事实性三个指标来量化这一一致性。
技术框架：整体框架包括三个主要模块：1) 选择模型及数据集；2) 设计实验以评估自我解释的功能一致性；3) 通过指标分析模型的预测变化。
关键创新：最重要的创新在于结合了充分性、全面性和反事实性指标，提供了一种系统化的方法来评估LLM的自我解释功能一致性，这与现有方法的单一评估维度形成了鲜明对比。
关键设计：在实验中，使用了不同的LLM（如GPT-4o-mini、Gemma3、Granite8B、DeepSeek），并对其进行充分性和反事实性干预，设计了相应的评估标准以确保实验的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4o-mini在所有评估指标上表现出预期的功能一致性，而Gemma3和Granite8B在充分性下保持一致性，但在更严格的干预下表现不佳。DeepSeek变体则在结构上出现偏差，未能保持充分性或在其他指标上过度反应。这些发现揭示了不同LLM在自我解释可靠性上的显著差异。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本分类、自动问答系统以及智能助手等。通过提高语言模型自我解释的可靠性，可以增强用户对模型决策的信任，从而推动其在实际应用中的广泛采用。
📄 摘要（原文）
Large Language Models (LLMs) have been widely adopted in text classification tasks, where they not only output class predictions but also generate explanations that highlight the tokens deemed most relevant for reaching the predicted label. Yet it remains unclear whether these highlighted elements are behaviorally consistent with the model's own predictions under targeted interventions, which we refer to as functional auto-consistency. While much of the literature evaluates the textual plausibility of such explanations, few studies assess their functional consistency with the model's actual behavior. In this work, we propose an experimental framework based on the principle of auto-consistency: if a model identifies certain tokens as decisive, then isolating, removing, or semantically inverting them should produce systematic and interpretable changes in its predictions. We operationalize this evaluation through sufficiency, comprehensiveness, and counterfactuality metrics, and conduct experiments on IMDB and Steam reviews across both closed-source (GPT-4o-mini) and open-source LLMs (Gemma3, Granite8B, DeepSeek). Results show that GPT-4o-mini follows the expected progression across all metrics, Gemma3 and Granite8B maintain coherence under sufficiency but lose consistency under more demanding interventions, while DeepSeek variants display structural deviations, either failing to preserve sufficiency or overreacting under comprehensiveness and counterfactuality. These findings show that explanation reliability varies across LLM families and scales, with smaller models displaying contradictions and larger ones exhibiting over-sensitivity. By combining sufficiency, comprehensiveness, and counterfactuality, our approach provides a systematic methodology for assessing the functional consistency of LLM self-explanations.