Toward a Graded Measure of Belief Stability in Large Language Models

📄 arXiv: 2609.34158v1 📥 PDF

作者: Samantha Dies, Branden Fitelson, Tina Eliassi-Rad

分类: cs.CL, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出分级信念稳定性度量以评估大语言模型的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 信念稳定性 条件概率 可靠性评估 对话系统

📋 核心要点

  1. 现有方法通常逐个判断信念的可靠性，无法全面评估大语言模型的信念体系稳定性。
  2. 本文提出分级信念稳定性度量，关注信念在模型其他认知承诺下的持久性，使用直接条件估计器进行实现。
  3. 实验结果显示，在83.3%的模型-领域设置中，较低稳定性的信念在对话挑战下表现出更大的行为变化，提升了评估的全面性。

📝 摘要（中文）

大语言模型（LLMs）在信息获取和推理中扮演着越来越重要的角色，但其事实可靠性通常是逐个判断进行评估。本文提出了分级信念稳定性这一关系性度量，旨在评估信念在LLM更广泛信念体系中的持久性。与单一信念概率不同，该度量关注在考虑模型其他认知承诺时，某一主张的支持程度是否依然存在。我们通过直接条件估计器来实现这一想法，该估计器利用内部模型表示来估计条件信念概率。在12个LLM和三个领域的实验中，较低稳定性的信念在83.3%的模型-领域设置下，在对话挑战中表现出更大的行为变化。分级信念稳定性因此将可靠性评估的范围从单一主张的支持强度扩展到信念在更广泛信念体系中的稳固支持程度。

🔬 方法详解

问题定义：本文旨在解决大语言模型在评估信念可靠性时的不足，现有方法往往忽视信念之间的关系和相互影响，导致评估结果片面。

核心思路：提出分级信念稳定性度量，关注信念在更广泛信念体系中的持久性，强调信念之间的相互支持关系。通过直接条件估计器，利用模型内部表示来估计条件信念概率，从而实现这一目标。

技术框架：整体架构包括信念输入、内部表示提取、条件概率估计和稳定性评估四个主要模块。首先，输入信念数据，然后提取模型的内部表示，接着计算条件信念概率，最后评估信念的稳定性。

关键创新：最重要的技术创新在于引入了分级信念稳定性这一新概念，突破了传统单一信念概率的评估方式，提供了更全面的信念可靠性评估。

关键设计：在参数设置上，直接条件估计器的设计考虑了模型内部表示的多样性，损失函数采用了适应性调整，以确保在不同信念条件下的准确性和稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在83.3%的模型-领域设置中，较低稳定性的信念在对话挑战下表现出更大的行为变化，表明分级信念稳定性度量能够有效捕捉信念的动态变化，提升了对大语言模型的可靠性评估。

🎯 应用场景

该研究的潜在应用领域包括信息检索、对话系统和知识图谱等。通过更全面地评估大语言模型的信念稳定性，可以提高模型在复杂推理任务中的表现，增强其在实际应用中的可靠性和有效性。

📄 摘要（原文）

Large language models (LLMs) increasingly mediate how people access and reason with information, yet factual reliability is usually evaluated one judgment at a time. We introduce graded belief stability, a relational measure of how well a belief persists within an LLM's broader belief system. Unlike individual belief probability, it asks whether support for a claim persists when that claim is considered alongside the model's other epistemic commitments. We operationalize this idea with a Direct Conditional estimator that uses internal model representations to estimate conditional belief probabilities. Across 12 LLMs and three domains, lower-stability beliefs exhibit greater mean behavioral movement under conversational challenge in 83.3% of model-domain settings after matching on individual belief probability. Graded belief stability therefore extends reliability assessment beyond how strongly an LLM supports a claim to how robustly that belief is supported within its broader system of beliefs.