Understanding the Impact of Linguistic Realization Choices on LLM Stance with Causal Tracing

📄 arXiv: 2607.20115v1 📥 PDF

作者: Langchen Huang, Sebastian Padó, Franziska Weeber

分类: cs.CL

发布日期: 2026-07-22

备注: KONVENS 2026

💡 一句话要点

研究语言构造选择对大型语言模型立场的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语言构造选择 立场判断 激活补丁 因果关系

📋 核心要点

  1. 现有研究主要关注词汇层面的实现，忽视了语言构造选择对LLM决策的影响，导致对模型行为理解的不足。
  2. 本文提出通过扩展政治声明数据集，设计六种控制的语言重写类型，系统性研究语言构造对LLM立场的影响。
  3. 实验结果表明，重写类型对立场的影响显著，尤其是中后解码层的输出在恢复原始立场分布中起到了关键作用。

📝 摘要（中文）

大型语言模型（LLMs）对提示和输入形式非常敏感，但现有研究主要集中在词汇实现上，忽视了构造选择的影响。本文探讨了语言构造是否能系统性地改变LLM的决策，并在模型内部定位这些变化的因果关系。以政治立场判断为案例，扩展了英语政治声明数据集，形成六种控制的语言重写类型，实验结果表明，立场的不稳定性影响了意义保留和意义反转的重写。通过激活补丁技术，测量哪些组件能够恢复原始立场分布，结果显示中后解码层，尤其是最后提示位置的块输出，提供了最强的恢复信号。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在不同语言构造下的立场变化问题。现有方法主要关注词汇层面，未能深入探讨构造选择的影响。

核心思路：通过设计六种不同的语言重写类型，研究这些重写如何影响LLM的立场判断，并利用激活补丁技术定位模型内部的因果关系。

技术框架：整体流程包括数据集扩展、语言重写类型设计、模型实验和激活补丁应用。首先扩展数据集，然后对模型进行不同重写类型的测试，最后分析激活补丁的效果。

关键创新：本研究的创新在于系统性地探讨了语言构造选择对LLM决策的影响，并通过激活补丁技术定位了模型内部的因果关系，这在现有研究中尚属首次。

关键设计：在实验中，采用了四个开放权重模型，重写类型包括意义保留和意义反转，激活补丁技术用于测量哪些模型组件能够恢复原始立场分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，重写类型对LLM立场的影响显著，尤其是在中后解码层的输出中，恢复信号最强。通过激活补丁技术，能够有效恢复原始立场分布，显示出模型在处理语言构造时的敏感性。

🎯 应用场景

该研究的潜在应用领域包括政治舆论分析、社交媒体内容监测和自动化文本生成等。通过深入理解语言构造对模型决策的影响，可以为开发更为精准的语言模型提供理论支持，进而提升模型在实际应用中的表现。

📄 摘要（原文）

Large language models (LLMs) are known to be sensitive to prompt and input formulations. However, existing studies have focused on lexical realization and largely ignored constructional choice. This paper studies whether linguistic construction can systematically shift LLM decisions and where these shifts can be causally localized inside the model. We use political stance judgment as a meaning-sensitive case study and extend an English political statements dataset, resulting in six controlled linguistic rewrite types that preserve or invert the meaning of a statement. Experiments on four open-weight models show that stance instability affect both meaning-preserving and meaning-inversing rewrites. Because output shifts reveal that rewrites affect stance, but not where in the model, we apply activation patching, where activations from the original statement are substituted into the forward pass for the rewritten statement and measure which components recover the original stance distribution. The results show that mid-to-late decoder layers, especially block outputs at the final prompt position, provide the strongest restoration signal.