Successive Training Stages and Large Language Model Persuasion: Effects of Misalignment, Supervised Fine-Tuning, and Preference Optimization

📄 arXiv: 2610.09964v1 📥 PDF

作者: Antony Dalmiere, Pascal Marchand, Guillaume Auriol, Vincent Nicomette

分类: cs.AI, cs.CY

发布日期: 2026-10-07

💡 一句话要点

研究三阶段训练对大语言模型说服力的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 说服力调优 监督微调 身份偏好优化 实验研究

📋 核心要点

  1. 现有方法在大语言模型的说服力调优上存在不确定性，尤其是不同训练阶段的贡献不明。
  2. 论文提出通过三个训练阶段（错位微调、说服性微调、偏好优化）来系统性地提升LLM的说服力。
  3. 实验结果显示，针对说服性数据的训练显著提高了态度变化，而偏好优化未能带来显著提升。

📝 摘要（中文）

大语言模型（LLMs）可以被调优以影响人类态度，但各个后训练阶段的具体贡献尚不明确。本研究探讨了三个连续训练阶段对LLM说服力的影响：通过对阴谋论数据进行监督微调（SFT）造成的错位、在论证数据上进行的额外说服性SFT，以及身份偏好优化（IPO）方法。研究发现，针对说服性数据的监督训练显著提高了LLM的说服力，而偏好优化未能提供额外的收益。

🔬 方法详解

问题定义：本研究旨在解决大语言模型在说服力调优中的不确定性，特别是不同训练阶段对模型效果的影响尚不清晰。现有方法未能明确各阶段的贡献，导致效果不一。

核心思路：论文的核心思路是通过三个连续的训练阶段来系统性地提升LLM的说服力，分别是监督微调、说服性微调和身份偏好优化，以探讨其对说服力的影响。

技术框架：整体架构包括三个主要阶段：首先是对阴谋论数据的监督微调，其次是对论证数据的说服性微调，最后是实施身份偏好优化。每个阶段都针对特定的数据集进行训练，以优化模型的说服能力。

关键创新：最重要的技术创新在于通过系统的训练阶段设计，明确了不同训练策略对模型说服力的影响，尤其是强调了针对说服性数据的训练优于单纯的阴谋论训练。

关键设计：在实验中，使用了835名参与者，随机分配到五个条件下，采用了连续的态度测量方法（Likert量表），并通过协方差分析（ANCOVA）评估不同条件下的态度变化。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，针对说服性数据的监督微调相比于仅进行阴谋论训练，态度变化显著增加（d = 0.30），而身份偏好优化未能带来额外收益（d = 0.03），GPT-4与中性文本无显著差异（d = -0.01），表明训练策略的选择对说服力有重要影响。

🎯 应用场景

该研究的潜在应用领域包括政治传播、市场营销和社会心理学等，能够为如何有效地利用大语言模型影响人类态度提供理论基础和实践指导。未来可能在社交媒体内容生成、舆论引导等方面发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) can be tuned to influence human attitudes, yet the respective contributions of successive post-training stages remain un-clear. This study examines how three successive training stages affect LLM persuasiveness: (1) misalignment through supervised fine-tuning (SFT) on conspiracy data, (2) additional persuasive SFT on argumentative data, and (3) Identity Preference Optimization (IPO), a preference-optimization method. A total of 835 participants recruited on Prolific were randomly assigned to five between-subject conditions (neutral text, conspiracy-trained model, persuasion-trained model, preference-optimized model, and GPT-4) and were exposed to texts on 10 divisive political issues, personalized from their individual profiles in all model conditions. Attitude change was measured as the difference between pre- and post-exposure positions on continuous Likert scales and analyzed with an analysis of covariance (ANCOVA). A significant condition x baseline-attitude interaction, F (4, 825) = 5.33, p < .001, indicated that training effects depended on participants' initial attitudes. Persuasive SFT produced greater attitude change than conspiracy training alone, d = 0.30, whereas IPO provided no additional benefit, d = 0.03, and GPT-4 did not differ from neutral text, d = --0.01. These results show that targeted supervised training on persuasive data increases LLM persuasiveness, whereas preference optimization yields no significant gains beyond it.