Examining Social Attribution in LLM Reasoning: A Theory-Guided Probing Methodology

📄 arXiv: 2610.12022v1 📥 PDF

作者: Zhaoxin Yu, Qingchao Kong, Dajun Zeng, Wenji Mao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出社会归因基准以探究大语言模型的推理机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会归因 大语言模型 归因理论 推理机制 责任判断 实验评估

📋 核心要点

  1. 现有的LLM在社会归因方面的研究较为匮乏，缺乏系统性探索和评估。
  2. 论文提出了一种基于归因理论的社会归因基准，包含经典场景和现实叙事的判断问题。
  3. 实验结果显示，LLM在责任和归责判断上与人类存在一定一致性，且与模型规模相关。

📝 摘要（中文）

随着大语言模型（LLMs）在社会技术系统中的广泛应用，社会归因——将外部事件归因于代理人社会行为的原因和理由的推理过程——显得尤为重要。尽管归因模型在社会心理学和认知领域已有深入研究，但在人工智能，尤其是LLM的社会推理方面仍然较少探索。本文首次系统性地探讨了LLM的社会归因，重点关注责任和归责的判断，构建了一个包含7640个责任/归责判断问题的社会归因基准。通过对32个代表性LLM和5个基本非LLM基线的评估，发现当前LLM在责任和归责判断上与人类存在可测量但不完全的一致性，并且这种一致性与模型规模呈正相关。

🔬 方法详解

问题定义：本文旨在解决当前大语言模型在社会归因推理中的不足，尤其是责任和归责的判断机制尚未得到充分探索。现有方法缺乏系统性评估，无法有效揭示LLM的内部推理机制。

核心思路：论文通过构建一个包含7640个判断问题的社会归因基准，结合归因理论，系统评估LLM在社会归因中的表现，探索其内部机制。

技术框架：研究分为两个主要模块：首先是基准数据集的构建，包含经典和现实场景的判断问题；其次是对32个LLM及5个非LLM基线的评估，采用探测方法分析隐藏状态与归因维度的关系。

关键创新：本研究的创新在于首次将归因理论系统应用于LLM的社会推理评估，揭示了LLM在责任和归责判断上的一致性及其与模型规模的关系。

关键设计：在实验中，采用了多维度的归因问题设计，并通过探测方法分析隐藏状态，重点关注5个关键的归因维度，确保评估的全面性和准确性。实验结果表明，某些归因维度可以从LLM的特定隐藏状态中系统解码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前LLM在责任和归责判断上与人类的判断存在可测量的一致性，且这种一致性与模型规模呈正相关。某些归因维度能够从LLM的特定隐藏状态中系统解码，进一步验证了归因理论在LLM推理中的适用性。

🎯 应用场景

该研究的潜在应用领域包括社会机器人、智能客服和决策支持系统等，能够帮助这些系统更好地理解和处理社会归因问题，提高其在复杂社会场景中的表现。未来，随着LLM技术的不断发展，该研究成果可能为社会技术系统的设计和优化提供重要参考。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in sociotechnical systems where social attribution, the reasoning process attributing external events to the causes and reasons of agents' social behaviors, plays a critical role. These processes involve judgments of social cause, responsibility, and blame/credit to agents. Although attributional models are well-studied in social psychology and cognition through Attribution Theory, social attribution remains underexplored in AI, particularly LLM social reasoning. This paper provides the first systematic exploration of LLM social attribution. Our work focuses on responsibility and blame attributions, examining current LLMs' judgments and their underlying internal mechanisms. Guided by attribution theory, we construct a social attribution benchmark consisting of a Vignette subset based on classic scenarios from attribution theory research and a Reality subset based on real-world social narratives, yielding 7,639 responsibility/blame judgment questions. On this basis, we evaluate 32 representative LLMs and 5 basic non-LLM baselines. To further explore the internal mechanisms underlying the LLM judgment process, we develop a probing-based methodology to investigate the latent-space representations of 5 key attribution dimensions and the consistency of their influences on LLM judgments compared to those in human social attribution. Our research findings reveal that current LLMs exhibit measurable but incomplete agreement with human responsibility and blame judgments, and meanwhile, this agreement is positively correlated with model size. Some attribution dimensions are systematically decodable from specific positions in LLM hidden states, and their influences on the final judgment are consistent with those indicated by human Attribution Theory. The dataset and associated code are available at https://github.com/Yuzhaoxin946/SAB-Bench.