Hearsay or Fact? How Framing and Elicitation Shape LLM Probability Updates
作者: An-Sheng Jhang
分类: cs.CL, cs.AI
发布日期: 2026-10-20
备注: 27 pages, 3 figures, 8 tables. v2 adds four model configurations (gpt-oss-120b, claude-sonnet-5.5, gemini-3.8-flash at two reasoning efforts) run with the same protocol, and an exploratory analysis of candidate spread. Code and data: https://github.com/asj252/llm-judgment-studies
🔗 代码/项目: GITHUB
💡 一句话要点
研究大型语言模型在信息更新中的概率变化机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 概率估计 信息更新 心理实验 模型评估 数据分析
📋 核心要点
- 当前对大型语言模型在接收新信息后概率估计变化的理解不足，缺乏系统性研究。
- 本文通过设计不同的更新方式，探讨信息更新对模型概率估计的影响，提出了新的实验框架。
- 实验结果表明，直接陈述更新能显著提高模型的概率变化，而报告更新则降低了这种变化的幅度。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用作判断助手和心理实验的替代参与者，但关于它们在接收到新信息后概率估计的变化程度仍知之甚少。本文通过配对$δ$-SNLI的前提-假设项，分别引入强化和削弱信息，测量模型在不同更新方式下的概率变化。研究发现，在直接陈述更新时，所有模型的概率变化均朝向标注方向移动，而在报告更新时，概率变化显著降低。通过对七种配置的实验，本文揭示了不同信息更新方式对模型反应的影响，并提出了对极端值敏感性与信息更新效果的独立测试需求。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在接收新信息后概率估计的变化，现有研究未能系统分析不同信息更新方式对模型反应的影响。
核心思路：通过设计两种信息更新方式（陈述与报告），并结合不同的概率估计形式，研究模型在接收到新信息后的概率变化，揭示其对模型判断的影响。
技术框架：研究采用$δ$-SNLI数据集，配对前提-假设项，分别引入强化和削弱信息，进行概率估计的前后对比，实验分为七种配置，包括两种本地模型和五种通过命令行工具运行的配置。
关键创新：本文的创新在于系统性地比较了不同信息更新方式对模型概率变化的影响，尤其是直接陈述与报告更新的效果差异，提出了对极端值敏感性与信息更新效果的独立测试需求。
关键设计：实验中使用了240对前提-假设项和120对通过命令行工具的配置，重点关注模型在接收信息后的概率变化，特别是对极端概率（≤5%或≥95%）的响应变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在直接陈述更新的情况下，所有模型的概率变化均朝向标注方向移动，变化幅度为18-28个百分点。而在报告更新时，所有模型的变化幅度显著降低，减少了2-5个百分点，并增加了反向变化的比例，表明信息更新方式对模型反应的影响显著。
🎯 应用场景
该研究为大型语言模型在心理学实验和判断辅助中的应用提供了理论基础，能够帮助设计更有效的信息更新策略，提升模型的判断能力。未来，该研究的结果可能在教育、心理学和人机交互等领域得到广泛应用。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as judgment assistants and as stand-in participants in psychology experiments, yet little is known about how much their probability estimates move in response to a single new piece of information. We pair premise-hypothesis items from $δ$-SNLI with one strengthener and one weakener each, elicit the prior and the posteriors in separate calls, and measure the directional movement s: the mean posterior change signed by the annotated direction, so that the prior cancels out. We vary whether the update is stated ("Here is something else you learned") or reported ("Someone said that"), and whether the model gives one probability or five weighted estimates. We test seven configurations: two local models (Qwen3-8B, OLMo-2-7B; 240 pairs) and five configurations run through agent command-line harnesses (120 pairs), with hypotheses and analysis rules fixed before the formal runs (not publicly registered). Under stated, direct elicitation all seven move in the annotated direction (s = 18-28 percentage points). Reporting lowers s in all seven point estimates (significantly in six, by 2-5 points) and raises the share of reverse movements in all seven: the effect is consistent but small. Five weighted estimates lower the share of responses at $\leq$5% or $\geq$95% in all seven, but in the two local models they also reduce s by 43% and 68%, whereas in the harnessed configurations the point estimates of the change lie between -3.7 and +0.5 points. An elicitation format that reduces extreme values thus need not preserve sensitivity to evidence; the two should be tested separately. Because $δ$-NLI annotates only direction, we make no claim about how large an update should be. Code, data and the frozen plan: https://github.com/asj252/llm-judgment-studies