Train Yourself as an LLM: Exploring Effects of AI Literacy on Persuasion via Role-playing LLM Training

📄 arXiv: 2604.02637 📥 PDF

作者: Qihui Fan, Min Ge, Chenyan Jia, Weiyan Shi

分类: cs.CL

发布日期: 2026-04-06

💡 一句话要点

提出LLMimic：通过角色扮演LLM训练提升AI素养，降低AI说服力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI素养 大型语言模型 角色扮演 人机交互 AI说服 教育 RLHF

📋 核心要点

  1. 现有AI说服力缓解措施主要将用户视为被动接受者，缺乏主动干预手段。
  2. LLMimic通过角色扮演LLM训练过程，让用户理解LLM的工作原理，提升AI素养。
  3. 实验表明，LLMimic能有效提升AI素养，降低AI说服力，并增强用户责任感。

📝 摘要（中文）

随着大型语言模型（LLM）的说服力日益增强，人们的观点和决策可能在大范围内受到影响。先前的缓解措施（例如，AI检测器和免责声明）主要将人们视为AI生成信息的被动接受者。为了提供更积极的干预措施来对抗具有说服力的AI，我们引入了$ extbf{LLMimic}$，这是一个基于角色扮演的、交互式的、游戏化的AI素养教程，参与者扮演LLM的角色，并经历训练流程的三个关键阶段（预训练、SFT和RLHF）。我们进行了一项$2 imes 3$的受试者间研究（$N = 274$），参与者要么（1）观看AI历史视频（对照组），要么（2）与LLMimic互动（实验组），然后参与三个真实的AI说服场景之一：（a）慈善捐款说服，（b）恶意金钱索取，或（c）酒店推荐。结果表明，LLMimic显著提高了参与者的AI素养（$p < .001$），降低了跨场景的说服成功率（$p < .05$），并提高了酒店场景中的真实性和社会责任水平（$p<0.01$）。这些发现表明，LLMimic提供了一种可扩展的、以人为本的方法来提高AI素养，并支持与具有说服力的AI进行更明智的互动。

🔬 方法详解

问题定义：论文旨在解决人们容易受到具有说服力的AI影响的问题。现有方法，如AI检测器和免责声明，主要关注识别AI生成的内容，而忽略了提升用户自身对AI的理解和抵抗能力。因此，痛点在于缺乏主动的、以人为本的干预手段，使用户能够更明智地与AI互动。

核心思路：论文的核心思路是通过让用户扮演LLM的角色，亲身体验LLM的训练过程（预训练、SFT和RLHF），从而提高他们对LLM工作原理的理解。这种角色扮演的方式旨在使学习过程更具互动性和趣味性，从而更有效地提升AI素养，并降低AI的说服力。

技术框架：LLMimic的整体框架是一个交互式的AI素养教程，包含三个主要阶段，模拟LLM的训练流程： 1. 预训练阶段：用户学习LLM的基础知识和训练数据。 2. SFT（监督微调）阶段：用户学习如何根据特定指令调整LLM的行为。 3. RLHF（基于人类反馈的强化学习）阶段：用户学习如何根据人类反馈优化LLM的输出。

用户通过与LLMimic的互动，逐步了解LLM的训练过程，并学习如何识别和抵御AI的说服。

关键创新：论文最重要的技术创新点在于将AI素养教育与角色扮演和LLM训练流程相结合。与传统的被动学习方法不同，LLMimic提供了一种主动的、沉浸式的学习体验，使用户能够更深入地理解LLM的工作原理，并提高对AI说服的抵抗能力。这种方法更注重提升用户自身的能力，而非仅仅依赖于外部的检测工具。

关键设计：LLMimic的关键设计在于其交互性和游戏化元素。通过角色扮演和逐步进阶的训练任务，LLMimic能够吸引用户的注意力，并激发他们的学习兴趣。此外，LLMimic还根据不同的AI说服场景（慈善捐款、恶意金钱索取、酒店推荐）定制了相应的训练内容，使用户能够更好地将所学知识应用于实际情境中。具体的参数设置、损失函数、网络结构等技术细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与观看AI历史视频的对照组相比，使用LLMimic的实验组在AI素养方面有显著提升（$p < .001$），在不同场景下的AI说服成功率显著降低（$p < .05$），并且在酒店推荐场景中，实验组的真实性和社会责任感显著增强（$p<0.01$）。这些数据表明LLMimic在提升AI素养和降低AI说服力方面具有显著效果。

🎯 应用场景

该研究成果可应用于各种AI素养教育场景，例如学校课程、企业培训和社区活动。通过LLMimic，人们可以更好地理解AI的工作原理，提高对AI生成内容的辨别能力，从而更明智地与AI互动，并减少受到AI操纵的风险。这对于维护社会公平和个人权益具有重要意义。

📄 摘要（原文）

As large language models (LLMs) become increasingly persuasive, there is concern that people's opinions and decisions may be influenced across various contexts at scale. Prior mitigation (e.g., AI detectors and disclaimers) largely treats people as passive recipients of AI-generated information. To provide a more proactive intervention against persuasive AI, we introduce $\textbf{LLMimic}$, a role-play-based, interactive, gamified AI literacy tutorial, where participants assume the role of an LLM and progress through three key stages of the training pipeline (pretraining, SFT, and RLHF). We conducted a $2 \times 3$ between-subjects study ($N = 274$) where participants either (1) watched an AI history video (control) or (2) interacted with LLMimic (treatment), and then engaged in one of three realistic AI persuasion scenarios: (a) charity donation persuasion, (b) malicious money solicitation, or (c) hotel recommendation. Our results show that LLMimic significantly improved participants' AI literacy ($p < .001$), reduced persuasion success across scenarios ($p < .05$), and enhanced truthfulness and social responsibility levels ($p<0.01$) in the hotel scenario. These findings suggest that LLMimic offers a scalable, human-centered approach to improving AI literacy and supporting more informed interactions with persuasive AI.