Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions

📄 arXiv: 2606.06443v1 📥 PDF

作者: Xinnong Zhang, Wanting Shan, Hanjia Lyu, Zhongyu Wei, Jiebo Luo

分类: cs.CL, cs.MM, cs.SI

发布日期: 2026-06-04

💡 一句话要点

提出基于反事实上下文修订的框架以审计LLM立场模拟

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 立场模拟 上下文修订 多模态分析 社交媒体

📋 核心要点

  1. 现有的LLM立场模拟方法缺乏对用户特定信念的准确反映，且对对话上下文的变化敏感性未得到充分研究。
  2. 本研究提出了一种反事实上下文修订框架，通过控制对话上下文的修订来审计LLM的立场模拟效果。
  3. 实验结果表明，文本和多模态修订策略在立场转变的有效性和稳健性上均表现良好，提升了对立场动态的理解。

📝 摘要（中文）

大型语言模型（LLM）在模拟社交媒体用户及推测其对在线讨论的反应方面越来越普遍。然而，这些模拟是否准确反映用户特定信念，或对语义独立的对话上下文变化高度敏感仍不明确。本研究探讨了反事实上下文修订作为审计LLM立场模拟的框架。通过对原始在线对话进行分析，推断目标用户对特定话题的立场，并在修订后的上下文中再次模拟用户立场。我们比较了文本修订策略与结合基于表情包的多模态策略，并评估了平均立场转变方向和立场转变率两个主要有效性指标。结果显示，在不同的极化偏好机制下，文本和多模态策略均实现了有效且稳健的立场转变。我们的研究为理解LLM立场模拟的上下文敏感性提供了评估框架，同时强调了使用LLM模拟在线舆论动态的潜力与风险。

🔬 方法详解

问题定义：本研究旨在解决LLM在模拟用户立场时对上下文变化的敏感性问题。现有方法未能准确捕捉用户特定信念，导致模拟结果的可靠性不足。

核心思路：论文提出通过反事实上下文修订的方式，审计LLM的立场模拟。通过对原始对话进行修订，重新推断用户立场，从而评估上下文对立场的影响。

技术框架：整体流程包括三个主要阶段：首先，推断目标用户的初始立场；其次，应用控制修订策略修改对话上下文；最后，在修订后的上下文中重新模拟用户立场，并进行比较分析。

关键创新：本研究的创新点在于引入了反事实上下文修订作为审计工具，提供了一种新的视角来理解LLM立场模拟的上下文敏感性。这与传统方法的直接模拟不同，强调了上下文对立场的影响。

关键设计：在实验中，采用了文本修订和多模态修订策略，评估指标包括平均立场转变方向和立场转变率。多模态策略结合了表情包等视觉元素，增强了上下文的丰富性。

📊 实验亮点

实验结果显示，文本和多模态修订策略在立场转变方面均表现出显著的有效性，平均立场转变方向和立场转变率均有明显提升，尤其在多模态策略中，立场转变的稳健性得到了增强。这些结果为LLM在社交媒体中的应用提供了重要的实证支持。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、在线舆论监测和自动化内容生成等。通过提供对LLM立场模拟的深入理解，能够帮助开发更为精准的舆论引导工具和社交媒体互动系统，提升用户体验和信息传播的有效性。

📄 摘要（原文）

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.