Communication is All You Need: Persuasion Dataset Construction via Multi-LLM Communication

📄 arXiv: 2502.08896v1 📥 PDF

作者: Weicheng Ma, Hefan Zhang, Ivory Yang, Shiyu Ji, Joice Chen, Farnoosh Hashemi, Shubham Mohole, Ethan Gearey, Michael Macy, Saeed Hassanpour, Soroush Vosoughi

分类: cs.CL, cs.AI

发布日期: 2025-02-13

备注: Accepted to NAACL 2025 Main Conference

💡 一句话要点

提出基于多LLM通信的框架，自动生成高质量、多样化的说服性对话数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多LLM通信 说服性对话 数据集生成 自然语言处理 人机交互

📋 核心要点

  1. 现有方法生成的说服性对话数据在流畅性和复杂性方面存在不足，限制了LLM在说服性沟通方面的应用。
  2. 论文提出多LLM通信框架，通过LLM之间的交互，自动生成高质量、多样化的说服性对话数据。
  3. 实验表明，生成的数据集在自然性、语言多样性和策略性说服方面表现出色，并具有良好的泛化能力。

📝 摘要（中文）

大型语言模型（LLMs）在生成说服性对话方面表现出熟练度，但对其输出的流畅性和复杂性的担忧仍然存在。本文提出了一种多LLM通信框架，旨在自动增强说服性数据的生成。该框架有助于以最少的人工监督高效地生成高质量、多样化的语言内容。通过广泛的评估，我们证明了生成的数据在自然性、语言多样性和说服的战略使用方面表现出色，即使在涉及社会禁忌的复杂场景中也是如此。该框架还证明了擅长跨新情境的泛化。我们的结果突出了该框架在显著推进计算和社会科学领域关于说服性沟通的研究方面的潜力。

🔬 方法详解

问题定义：论文旨在解决缺乏高质量、多样化的说服性对话数据集的问题。现有方法依赖人工标注或简单的LLM生成，前者成本高昂，后者质量和多样性不足，难以满足训练高性能说服对话模型的需求。

核心思路：核心思路是利用多个LLM之间的通信和博弈，模拟真实世界中人与人之间的说服过程。通过让不同的LLM扮演不同的角色，并设定明确的目标和约束，引导它们生成更自然、更具策略性的对话。

技术框架：该框架包含多个LLM，每个LLM扮演不同的角色（例如，提议者和反对者）。提议者试图说服反对者接受其观点，而反对者则提出质疑和反驳。LLM之间通过文本消息进行通信，并根据预定义的规则进行交互。框架还包括一个评估模块，用于评估生成对话的质量和多样性。

关键创新：关键创新在于利用多LLM通信来模拟真实的说服场景，从而生成更自然、更具策略性的对话数据。与传统的单LLM生成方法相比，该框架能够更好地捕捉说服过程中的复杂性和动态性。

关键设计：框架的关键设计包括：1) 角色分配：为每个LLM分配明确的角色和目标；2) 通信协议：定义LLM之间通信的格式和规则；3) 评估指标：设计用于评估对话质量和多样性的指标；4) 迭代优化：通过迭代优化LLM的参数和通信策略，提高生成数据的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架生成的数据集在自然性、语言多样性和策略性说服方面优于现有数据集。即使在涉及社会禁忌的复杂场景中，该框架也能生成高质量的对话。此外，该框架还展现出良好的泛化能力，能够适应新的情境和任务。

🎯 应用场景

该研究成果可应用于构建更强大的说服对话系统，例如在客户服务、谈判协商、教育辅导等领域。高质量的说服性对话数据集能够提升LLM在这些领域的表现，并促进人机协作的效率和效果。此外，该框架也可用于研究人类说服策略和社会互动模式。

📄 摘要（原文）

Large Language Models (LLMs) have shown proficiency in generating persuasive dialogue, yet concerns about the fluency and sophistication of their outputs persist. This paper presents a multi-LLM communication framework designed to enhance the generation of persuasive data automatically. This framework facilitates the efficient production of high-quality, diverse linguistic content with minimal human oversight. Through extensive evaluations, we demonstrate that the generated data excels in naturalness, linguistic diversity, and the strategic use of persuasion, even in complex scenarios involving social taboos. The framework also proves adept at generalizing across novel contexts. Our results highlight the framework's potential to significantly advance research in both computational and social science domains concerning persuasive communication.