What Did They Mean? How LLMs Resolve Ambiguous Social Situations across Perspectives and Roles

📄 arXiv: 2604.23942v1 📥 PDF

作者: Qiming Yuan, Linyi Han, Nam Ling, Cihan Ruan

分类: cs.HC, cs.AI

发布日期: 2026-04-27


💡 一句话要点

研究表明大型语言模型倾向于消除社会情境中的歧义,而非保持不确定性。

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会推理 不确定性 歧义消除 人际关系

📋 核心要点

  1. 现有大型语言模型在解读模糊社会情境时,倾向于消除歧义,缺乏对不确定性的有效处理。
  2. 通过分析LLM在不同社会情境下的反应,揭示其消除歧义的机制,包括叙事对齐和规范性建议。
  3. 实验结果表明,LLM在大多数情况下会产生解释性闭合,而未能有效保留社会情境中的不确定性。

📝 摘要(中文)

人们越来越多地求助于大型语言模型(LLM)来解读模糊的社会情境,例如延迟的短信回复、异常冷淡的上司、老师的模棱两可的信号或越界的朋友。然而,在许多此类情况下,仅凭现有证据无法验证稳定的解释。我们研究了LLM如何在四个领域中应对这些情况:早期恋爱关系、师生关系、工作场所等级制度和模糊的友谊。在GPT、Claude和Gemini的72个回复中,只有9个(12.5%)真正保留了不确定性。其余87.5%通过重复出现的途径产生了解释性闭合,包括叙事对齐、叙事反转、不确定性下的规范性建议以及仍然支持单一结论的对冲语言。我们进一步发现,叙述者的视角会影响闭合的路径:第一人称叙述更常引起对齐,而第三人称叙述则会引发更超然的解释,即使潜在的情况仍然相似。总之,这些发现表明,LLM不仅仅是协助人际理解,它们倾向于将模糊性转化为连贯且可操作的叙述。这些结果表明,核心风险不仅在于LLM可能误解社会情境,还在于它们可能使未解决的情境感觉过早地得到解决。我们将这种趋势定义为保持不确定性的社会AI的设计挑战。

🔬 方法详解

问题定义:论文旨在研究大型语言模型(LLM)在面对模糊的社会情境时,如何进行解读和决策。现有方法,即直接使用LLM进行推理,其痛点在于LLM倾向于消除歧义,给出明确的结论,而忽略了社会情境中客观存在的不确定性。这可能导致误解或不恰当的建议。

核心思路:论文的核心思路是分析LLM在不同社会情境下的反应模式,揭示其消除歧义的机制。通过构建包含多种社会情境的测试集,并分析LLM的输出,识别出常见的解释性闭合路径,例如叙事对齐、叙事反转和规范性建议。这样设计的目的是为了理解LLM在社会推理中的偏差,并为未来设计能够更好处理不确定性的社会AI提供指导。

技术框架:论文采用实验研究的方法。首先,构建包含四个领域的社会情境测试集:早期恋爱关系、师生关系、工作场所等级制度和模糊的友谊。然后,使用GPT、Claude和Gemini等主流LLM对这些情境进行推理,并收集LLM的输出。最后,对LLM的输出进行人工分析,识别出常见的解释性闭合路径,并分析叙述者视角对LLM推理的影响。

关键创新:论文的关键创新在于揭示了LLM在社会推理中存在的系统性偏差,即倾向于消除歧义,给出明确的结论,而忽略了社会情境中客观存在的不确定性。此外,论文还识别出多种LLM消除歧义的常见路径,例如叙事对齐、叙事反转和规范性建议。

关键设计:论文的关键设计包括:1) 精心设计的社会情境测试集,涵盖了不同领域和不同视角的社会互动;2) 对LLM输出进行细致的人工分析,识别出常见的解释性闭合路径;3) 分析叙述者视角对LLM推理的影响,揭示了LLM在社会推理中的视角依赖性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明,在72个LLM回复中,只有12.5%真正保留了不确定性,其余87.5%都倾向于产生解释性闭合。研究还发现,第一人称叙述更常引起LLM的叙事对齐,而第三人称叙述则引发更超然的解释。这些结果突显了LLM在社会推理中存在的偏差,并强调了设计能够更好处理不确定性的社会AI的重要性。

🎯 应用场景

该研究成果可应用于开发更可靠、更负责任的社会AI系统。例如,在心理咨询、人际关系调解等领域,可以利用该研究成果设计能够更好处理不确定性的AI助手,避免因过早给出结论而造成误导。此外,该研究也为评估和改进现有LLM在社会推理方面的能力提供了新的视角。

📄 摘要(原文)

People increasingly turn to large language models (LLMs) to interpret ambiguous social situations: a delayed text reply, an unusually cold supervisor, a teacher's mixed signals, or a boundary-crossing friend. Yet in many such cases, no stable interpretation can be verified from the available evidence alone. We study how LLMs respond to these situations across four domains: early-stage romantic relationships, teacher--student dynamics, workplace hierarchies, and ambiguous friendships. Across 72 responses from GPT, Claude, and Gemini, only 9 (12.5\%) genuinely preserved uncertainty. The remaining 87.5% produced interpretive closure through recurring pathways including narrative alignment, narrative reversal, normative advice under uncertainty, and hedged language that still supported a single conclusion. We further find that narrator perspective shapes the path to closure: first-person accounts more often elicited alignment, while third-person accounts invited more detached interpretation, even when the underlying situation remained comparable. Together, these findings show that LLMs do not simply assist interpersonal sensemaking; they tend to resolve ambiguity into coherent and actionable narratives. These results suggest that the central risk is not only that LLMs may misinterpret social situations, but that they may make unresolved situations feel prematurely settled. We frame this tendency as a design challenge for uncertainty-preserving social AI.