LLM Persuasion Is in the Eye of the Evaluation
作者: Kamile Dementaviciute, Julija Vaitonyte, Tijl De Bie
分类: cs.CL, cs.AI, cs.CY
发布日期: 2026-10-07
💡 一句话要点
提出统一评估框架以解决LLM说服力评估不一致问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 说服力评估 自动化方法 模型一致性 操控性任务
📋 核心要点
- 现有的LLM说服力评估方法存在碎片化问题，导致评估结果不一致，影响了对模型的全面理解。
- 本文通过适配九种自动化评估方法，统一在相同的模型上进行评估，以比较不同方法的结果和一致性。
- 实验结果显示，评估方法之间的一致性较低，主要由于模型在操控任务上的拒绝，提示了评估设计的重要性。
📝 摘要（中文）
大型语言模型（LLMs）在说服力方面已经显示出与人类专家相当或超越的能力。尽管其潜在的积极应用如教育和健康传播令人期待，但也存在被用于操控和误导的风险，因此对其评估的需求日益增加。然而，目前的评估方法存在碎片化的问题，研究在定义说服力时存在差异，广泛的结论往往基于狭窄的情境特定评估。本文适配了九种已发布的自动化评估方法，并在相同的十五个LLMs上运行，探讨其排名的一致性及原因。结果显示，这些方法之间的一致性较弱（平均Spearman $ρ= 0.25$），主要受模型拒绝某些任务的影响，尤其是操控任务。总体而言，结果表明说服力评分结合了模型的说服能力与其意愿，单一评分对特定设置有信息量，但对跨任务的说服力则信息量有限。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLMs）说服力评估方法的碎片化问题，现有方法在定义和评估说服力时存在显著差异，导致结果不一致。
核心思路：通过适配九种已发布的自动化评估方法，构建统一的评估框架，在相同的十五个LLMs上进行比较，以探讨不同方法的排名一致性及其原因。
技术框架：研究首先选择了九种自动化评估方法，并在相同的模型上运行这些方法，收集其评估结果。接着，分析不同方法之间的排名一致性，并探讨影响一致性的因素。
关键创新：本研究的创新点在于将多种评估方法统一到一个共享的设置中，首次系统性地比较了不同方法在相同任务上的表现，揭示了评估结果的不一致性及其原因。
关键设计：在方法设计中，考虑了模型对不同任务的拒绝情况，尤其是操控性任务的拒绝对评估一致性的影响。此外，采用Spearman相关系数来量化不同方法之间的排名一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，九种自动化评估方法之间的平均Spearman相关系数为0.25，表明它们之间的一致性较弱。模型在操控任务上的拒绝显著影响了评估结果，提示了评估设计的重要性。
🎯 应用场景
该研究的潜在应用领域包括教育、健康传播和其他需要说服力的场景。通过提供一致的评估框架，开发者和监管机构可以更有效地评估和优化LLMs的说服能力，从而促进其在社会中的正面应用，减少误导性信息的传播。
📄 摘要（原文）
Large language models (LLMs) have already been shown to match or exceed human experts in persuasion. While their persuasive capabilities hold promise for beneficial uses such as education and health communication, they can also be used to manipulate and misinform, making their evaluation a growing priority for developers and regulators. That evaluation, however, remains fragmented: studies differ in what they treat as persuasion, and broad claims often rest on narrow, situation-specific assessments. Automated methods, often modelled on human studies, offer a way to compare such assessments directly, as they can be run on the same models at scale and can include high-risk forms of persuasion that would be difficult or unethical to test on people. In this study, we adapt nine published automated methods to a shared setup, run them on the same fifteen LLMs, and ask whether their rankings agree and why. We find that the methods agree only weakly (mean Spearman $ρ= 0.25$). Our analyses point to two contributing factors. Models that refuse some tasks but not others, directly or indirectly, lower agreement by about a quarter, and these refusals fall mostly on manipulation tasks. General capability also plays a part: most rational persuasion (non-manipulative) methods track it, whereas most manipulation methods do not. Together, these findings suggest that agreement depends more on the task a method sets than on how it scores persuasion, although this pattern is only indicative given the eight methods available for analysis. More broadly, our results suggest that persuasion scores combine a model's ability to persuade with its willingness to do so. A single score is therefore informative about its own setting, but says little about a model's persuasiveness across tasks.