PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios

📄 arXiv: 2610.20548v1 📥 PDF

作者: Ali Zamani, Soroush Esfahanian, Erfan Shahabi, Mohammad Taher Pilehvar, Azadeh Shakery, Yadollah Yaghoobzadeh

分类: cs.CL, cs.AI, cs.SI

发布日期: 2026-10-14

备注: 25 pages, 17 figures, 10 tables. Ali Zamani and Soroush Esfahanian contributed equally

💡 一句话要点

提出PerSo基准以评估LLMs在真实说服场景中的社交智能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社交智能 大型语言模型 说服对话 人机交互 评估基准 认知智能 行为智能

📋 核心要点

  1. 现有方法通常在合成场景中孤立评估LLMs的社交智能，缺乏对真实说服对话的综合考量。
  2. 论文提出PerSo基准，通过真实对话评估LLMs的认知和行为智能，采用LLM-in-the-loop方法构建评估任务。
  3. 实验结果显示，LLMs的表现随着模型规模的增加而提升，最强LLM在行为任务上超越人类，但在认知任务上仍不及人类。

📝 摘要（中文）

理解大型语言模型（LLMs）的社交智能在涉及人机交互和多智能体环境的应用中越来越重要。社交智能包括两个方面：认知智能，即推断他人心理状态的能力；行为智能，即基于这些推断选择适当社交行为以实现社交目标的能力。说服提供了一个自然的测试平台，但以往的基准通常在合成场景中孤立评估这两个方面。我们提出了PerSo基准，评估来自Reddit ChangeMyView社区的真实说服对话中的这两个方面，使用LLM-in-the-loop管道构建评估任务，并通过人工标注进行验证。对多种LLMs的评估表明，性能通常随着模型规模的增加而提升，但在不同维度上存在差异。最强的LLM在行为任务上略微超越了最佳人类表现，而最佳人类参与者在认知任务上仍然领先。

🔬 方法详解

问题定义：本论文旨在解决如何全面评估大型语言模型在真实说服场景中的社交智能，现有方法往往忽视了真实对话的复杂性和多样性。

核心思路：通过引入PerSo基准，结合真实的说服对话数据，评估LLMs的认知和行为智能，确保评估的真实性和有效性。

技术框架：整体架构包括数据收集、任务构建和评估三个主要模块。首先，从Reddit的ChangeMyView社区收集真实对话数据；其次，使用LLM-in-the-loop方法生成评估任务；最后，通过人工标注验证任务的有效性。

关键创新：PerSo基准的提出是本研究的核心创新，它允许同时评估LLMs的认知和行为智能，填补了以往研究的空白。

关键设计：在任务构建中，采用了多样化的对话场景和评估标准，确保评估的全面性和准确性，同时使用了适当的损失函数来优化模型表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最强的LLM在行为任务上略微超越了最佳人类表现，表明其在特定社交场景中的有效性。同时，尽管LLM的表现随着模型规模的增加而提升，但在认知任务上仍然不及最佳人类参与者，反映出LLMs在理解他人心理状态方面的局限性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能客服、教育辅导等，能够帮助开发更具社交智能的AI系统，提高人机互动的自然性和有效性。未来，PerSo基准可能成为评估社交智能的标准工具，推动相关领域的研究和应用发展。

📄 摘要（原文）

Understanding the social intelligence of large language models (LLMs) is increasingly important for applications involving human-AI interaction and multi-agent environments. Social intelligence comprises two aspects: cognitive intelligence, the ability to infer others' mental states, and behavioral intelligence, the ability to select appropriate social actions based on these inferences to achieve social goals. Persuasion provides a natural testbed in which both aspects are simultaneously at play, yet prior benchmarks typically evaluate them in isolation using synthetic scenarios. We introduce PerSo, a benchmark that evaluates both aspects on real-world persuasion dialogues from Reddit's ChangeMyView community, using an LLM-in-the-loop pipeline to construct the evaluation tasks, validated through human annotation. Our evaluation of diverse LLMs shows that performance generally scales with model size but varies across dimensions. The strongest LLM slightly surpasses the best observed human performance on the behavioral task, while the best human participant remains ahead on the cognitive task.