BeliefScope: Diagnosing Evidence-Driven Revision and Pressure-Induced Shifts in Large Language Models
作者: Shuai Guo, Yidong Cui
分类: cs.CL
发布日期: 2026-10-08
备注: 18 pages, 13 figures, 18 tables. Includes appendices
💡 一句话要点
提出BeliefScope以区分证据驱动修正与压力诱导变化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 证据驱动 压力诱导 响应变化 行为分析 模型优化 可解释性
📋 核心要点
- 现有方法无法有效区分语言模型响应变化的来源，导致对模型行为的误解。
- BeliefScope通过控制实验设计，结合证据与压力的局部控制，精确测量响应变化。
- 在36个Qwen/Llama模型的研究中，发现模型响应受评估条件的显著影响，部分模式保持稳定。
📝 摘要（中文）
语言模型在接收到相关证据或用户压力后可能会修正同一命题，但仅凭可观察的响应变化无法确定驱动因素。本文提出BeliefScope，一个控制的黑箱框架，用于分离这两种影响源。BeliefScope结合证据与压力，通过特定局部控制测量响应变化，并在受控合成条件下评估观察设计。通过已知真相恢复和目标消融，确定证据与压力效应的可分离性，并在半合成压力测试中映射可恢复性变化。研究表明，模型级差异在不同控制和解码条件下会变化，而某些模型内部模式则保持稳定。
🔬 方法详解
问题定义：本文旨在解决语言模型在接收证据或用户压力时，如何有效区分这两种影响源的问题。现有方法无法明确识别响应变化的驱动因素，导致对模型行为的误解。
核心思路：BeliefScope框架通过控制实验设计，结合证据与压力的局部控制，提供了一种新的测量响应变化的方法。这种设计使得研究者能够更清晰地理解模型在不同条件下的行为。
技术框架：BeliefScope的整体架构包括两个主要模块：一是证据与压力的交叉控制，二是响应变化的测量。通过概率报告、分类判断和行动建议等方式，评估模型在不同条件下的表现。
关键创新：BeliefScope的创新在于其能够在受控条件下分离证据与压力的影响，这是现有方法所缺乏的。通过这种方式，研究者可以更准确地归因于模型响应的变化。
关键设计：在设计中，采用了特定的局部控制参数和观察设计，确保在不同的噪声和异质性条件下，能够有效评估证据与压力的影响。
📊 实验亮点
在36个Qwen/Llama模型的研究中，BeliefScope展示了显著的评估上下文依赖性，模型级差异在不同控制条件下发生变化。通过目标干预，发现压力的减少可能反映出模型的稳定抵抗或相反的运动，提供了新的理解模型行为的视角。
🎯 应用场景
BeliefScope的研究成果可广泛应用于自然语言处理领域，尤其是在模型调优和行为分析方面。通过明确区分证据与压力的影响，研究者和开发者能够更好地理解和优化语言模型的响应行为，提升模型的可靠性和可解释性。
📄 摘要（原文）
A language model may revise the same proposition after receiving genuinely relevant evidence or after receiving directional user pressure that adds no relevant fact. The observable response shift alone therefore does not reveal which source drove the change. We introduce BeliefScope, a controlled black-box framework for separating these two sources of influence around a fixed target proposition. BeliefScope crosses Evidence and Pressure with factor-specific local controls and measures response changes through probability reports, categorical judgments, and action recommendations on channel-appropriate scales. To determine when these observable contrasts support reliable attribution, we evaluate the observation design under controlled synthetic conditions. Known-truth recovery and targeted ablations establish where Evidence- and Pressure-related effects can be separated, while semi-synthetic stress tests map how that recoverability changes as the observation process becomes noisier and more heterogeneous. Across a 36-family Qwen/Llama study, with targeted 12-family checks that also include Gemma3-12B, the resulting profiles show substantial evaluation-context dependence: broad model-level differences can change under matched controls, decoding, or response interfaces, while some narrower within-model patterns remain stable. Instruction interventions further show that reduced target-aligned Pressure following can reflect either stable resistance or movement in the opposite direction. BeliefScope summarizes these measurements as a conditional belief-response profile that keeps diagnostic effects tied to the evaluation conditions under which they are observed, together with explicit validity boundaries for that diagnosis.