It's Not What You Say, It's How You Say It: Evaluating LLM Responses to Expressions of Belief

📄 arXiv: 2607.18232v1 📥 PDF

作者: Kevin Du, Clara Kümpel, Michelle Wastl, Alex Warstadt

分类: cs.CL

发布日期: 2026-07-20

备注: Published at ACL 2026

DOI: 10.18653/v1/2026.acl-long.142

💡 一句话要点

提出一种评估EoB对LLM响应影响的分类法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信念表达 上下文理解 语言学分类 模型评估 自然语言处理 人机交互

📋 核心要点

  1. 现有方法未能充分考虑用户信念表达的多样性对LLM响应的影响，导致模型在上下文理解上存在不足。
  2. 论文提出了一种基于语言学维度的分类法，系统评估不同EoBs对LLM响应的影响，旨在优化模型的上下文整合能力。
  3. 实验结果表明，模型的架构和训练阶段对响应行为有显著影响，较大和指令模型通常较少遵循上下文，且某些EoBs更具说服力。

📝 摘要（中文）

用户经常向大型语言模型（LLMs）表达他们的信念。在某些情况下，LLM应将这些上下文信念视为真实，而在其他情况下则应坚持其先前知识。用户的信念表达（EoBs）可以采用多种语言形式，论文提出了一种分类法来系统评估不同EoBs如何影响模型遵循上下文与先前知识的决策。该分类法基于四个语言学维度：形式、证据性、认知立场和语气，涵盖17种细分类型。通过将这些EoBs与世界知识事实配对，生成控制的EoB查询对，论文评估了16种不同架构、规模和训练阶段的LLMs，发现响应行为在这些维度上存在显著差异，并揭示了语言框架如何影响LLM的上下文整合。

🔬 方法详解

问题定义：本论文旨在解决用户向LLM表达信念时，模型如何有效整合这些信念与其先前知识的问题。现有方法未能充分考虑信念表达的语言多样性，导致模型在上下文理解上存在局限性。

核心思路：论文提出了一种新的分类法，基于语言学的四个维度（形式、证据性、认知立场和语气）来系统评估不同EoBs对LLM响应的影响。这种设计旨在揭示语言框架如何影响模型的上下文整合能力。

技术框架：整体架构包括生成控制的EoB查询对，通过将EoBs与世界知识事实配对，评估16种不同架构和规模的LLMs的响应行为。主要模块包括EoB分类、模型响应评估和数据分析。

关键创新：最重要的创新点在于提出了基于语言学维度的EoB分类法，系统性地揭示了不同信念表达形式对模型响应的影响，这与现有方法的单一视角显著不同。

关键设计：在实验中，设置了不同的EoB类型，并对16种LLMs进行了比较，关注模型的架构（如Llama3、Qwen3、Gemma3）、参数规模（1B-30B）和训练阶段（基础与指令）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，较大模型和指令模型在上下文遵循上表现较差，而某些EoBs在说服力上显著优于其他类型。具体而言，模型在响应行为上存在显著的统计差异，揭示了语言框架对LLM上下文整合的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和人机交互等。通过优化LLM对用户信念表达的响应能力，可以提升用户体验和模型的实用性，未来可能对智能助手和教育工具等领域产生深远影响。

📄 摘要（原文）

Users frequently express their beliefs to large language models (LLMs). In some situations, the LLM should accept these contextual beliefs as true. In others, they should stick to their prior knowledge. Notably, users' expressions of belief (EoBs) can take linguistically diverse forms - using presuppositions, evidential and certainty markers, or varied tones - each of which may have a different persuasiveness over the LLMs. We introduce a typology to systematically evaluate how different EoBs affect whether models follow context versus prior knowledge. The typology is grounded in four linguistically motivated dimensions: form, evidentiality, epistemic stance, and tone, spanning 17 fine-grained types. By pairing these EoBs with world knowledge facts, we generate controlled EoB-query pairs that isolate the effect of linguistic variation. Using this benchmark, we evaluate 16 LLMs that differ in architecture (Llama3, Qwen3, Gemma3), scale (1B-30B parameters), and training stages (base vs instruct). We identify meaningful variations in response behavior across these axes, e.g., that bigger models and instruction models tend to be less context-following than smaller models and base models. We further identify specific EoBs that statistically significantly persuade LMs more consistently than others. Our work reveals systematic patterns in how linguistic framing affects LLM context integration, with implications for prompt engineering and model robustness.