When LLMs Manipulate: Measuring Behavioral, Social, and Temporal Effects
作者: Sadia Asif, Israel Antonio Rosales Laguan, Shumaila Asif, Haris Khan, Muneeb Asif, Muhammad Zeeshan Karamat
分类: cs.AI, cs.CL, cs.CY, cs.HC, cs.LG
发布日期: 2026-10-20
💡 一句话要点
提出行为计算框架以量化LLM的操控影响
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 行为计算 操控性AI 用户信任 社会影响评估 时间效应 操控梯度下降 行为脆弱性
📋 核心要点
- 现有方法对大型语言模型（LLMs）操控输出的行为效应量化不足，缺乏对用户脆弱性的系统评估。
- 提出了一种行为计算框架，通过操控梯度下降生成操控刺激，分析用户对操控性AI响应的反应。
- 在120名参与者的研究中，操控性框架显著影响了信任校准和合规性，且效应在社会背景中传播。
📝 摘要（中文）
大型语言模型（LLMs）通过微妙的语言提示影响用户信任和决策，但操控输出的行为效应尚未得到充分量化。本文引入了一种行为计算框架，用于测量用户对操控性AI响应的脆弱性。基于DarkPatterns-LLM基准，利用操控梯度下降（MGD）生成控制的操控刺激，针对权威性、紧迫性和社会证明等偏见进行分析。通过多利益相关者影响评估网络（MSIAN）和时间危害传播模型（THPM），研究了参与者的反应，发现操控性框架显著改变了信任校准和合规性（$p < 0.01$），并且效应在社会背景中传播。这些发现强调了需要将LLM安全评估扩展到可测量的行为后果，并提供了量化操控性AI交互所带来的个体、社会和时间风险的计算框架。
🔬 方法详解
问题定义：本文旨在量化大型语言模型（LLMs）操控输出对用户行为的影响，现有方法未能有效评估用户对操控性AI响应的脆弱性和行为后果。
核心思路：通过引入行为计算框架，结合操控梯度下降（MGD）技术，生成针对特定偏见的操控性刺激，以测量用户的行为脆弱性。
技术框架：整体架构包括操控刺激生成、用户反应分析和行为效应评估三个主要模块。首先，利用MGD生成操控性文本；其次，通过MSIAN分析用户反应；最后，使用THPM评估行为效应的时间持久性。
关键创新：最重要的创新在于提出了行为脆弱性这一概念，并通过量化方法系统评估了操控性AI交互的社会和时间风险，填补了现有研究的空白。
关键设计：在操控刺激生成中，针对权威性、紧迫性和社会证明等偏见进行了特定设计，确保生成的文本能够有效操控用户行为。
🖼️ 关键图片
📊 实验亮点
实验结果显示，操控性框架显著改变了参与者的信任校准和合规性，统计显著性达到$p < 0.01$。此外，操控效应在不同社会背景中传播，表明其影响具有广泛性和持久性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体、在线广告和客户服务等场景，能够帮助设计更安全的AI系统，减少操控性输出对用户决策的负面影响。未来，研究成果可为政策制定和AI伦理提供重要参考，促进人机交互的安全性与透明度。
📄 摘要（原文）
Large language models (LLMs) can influence user trust and decision-making through subtle linguistic cues, yet the behavioral effects of manipulative outputs remain poorly quantified. We introduce a behavioral computing framework for measuring \textit{behavioral vulnerability}, defined as users' susceptibility to manipulative AI responses. Building on DarkPatterns-LLM benchmark, we generate controlled manipulative stimuli using Manipulation Gradient Descent (MGD), targeting biases associated with authority, urgency, and social proof. We analyze participant responses using the Multi-Stakeholder Impact Assessment Network (MSIAN) to model cross-user influence and the Temporal Harm Propagation Model (THPM) to characterize the persistence of behavioral effects over time. In a study involving 120 participants, manipulative framing produced significant changes in trust calibration and compliance ($p < 0.01$), with effects also propagating across social contexts. These findings highlight the need to extend LLM safety evaluation beyond model outputs to measurable behavioral consequences and provide a computational framework for quantifying individual, social, and temporal risks arising from manipulative AI interactions.