On the Influence of Discourse Relations in Persuasive Texts

📄 arXiv: 2510.26124v1 📥 PDF

作者: Nawar Turk, Sevag Kaspar, Leila Kosseim

分类: cs.CL

发布日期: 2025-10-30

备注: Published in Proceedings of the 38th Canadian Conference on Artificial Intelligence CanAI 2025 Calgary Alberta May 26-27 2025. 5 figures 7 tables

期刊: Proceedings of the 38th Canadian Conference on Artificial Intelligence CanAI 2025 Canadian Artificial Intelligence Association Article ID 2025L162 Calgary Canada May 26-27 2025 Published online at https://caiac.pubpub.org/pub/p99aab5q/

💡 一句话要点

利用大型语言模型分析说服文本中论述关系对说服技巧的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 说服技巧 论述关系 大型语言模型 提示工程 银数据集 文本分析 自然语言处理

📋 核心要点

  1. 现有研究缺乏对说服文本中论述关系与说服技巧之间联系的深入分析，阻碍了对有效沟通的理解。
  2. 该论文利用大型语言模型和提示工程，构建了能够同时标注说服技巧和论述关系的数据集。
  3. 通过对构建的银数据集进行统计分析，揭示了六种关键论述关系在说服文本中的重要作用。

📝 摘要（中文）

本文研究了说服技巧（PTs）和论述关系（DRs）之间的关系，利用大型语言模型（LLMs）和提示工程。由于没有同时标注PTs和DRs的数据集，我们以SemEval 2023 Task 3数据集（标注了19种PTs）为起点，开发了基于LLM的分类器，将数据集中的每个实例标注为22种PDTB 3.0二级DRs之一。总共评估了四个LLM，使用了10种不同的提示，产生了40个独特的DR分类器。使用不同的多数投票策略的集成模型被用来创建5个银数据集，这些数据集的实例同时标注了说服技巧和二级PDTB语义。银数据集的大小从1,281个实例到204个实例不等，具体取决于所使用的多数投票技术。对这些银数据集的统计分析表明，六种论述关系（即原因、目的、对比、原因+信念、让步和条件）在说服性文本中起着至关重要的作用，尤其是在使用带有感情色彩的语言、夸张/最小化、重复和提出质疑时。这一见解有助于检测在线宣传和虚假信息，以及我们对有效沟通的总体理解。

🔬 方法详解

问题定义：论文旨在解决缺乏同时标注说服技巧（PTs）和论述关系（DRs）的数据集的问题，从而无法深入理解两者在说服文本中的相互影响。现有方法无法有效关联这两种信息，限制了对说服性沟通的理解和在线宣传/虚假信息的检测。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大能力，通过提示工程构建DR分类器，自动标注现有的PTs数据集，从而生成同时包含PTs和DRs标注的银数据集。这样就可以对PTs和DRs之间的关系进行统计分析。

技术框架：整体流程包括以下几个阶段：1) 选择SemEval 2023 Task 3数据集（已标注PTs）；2) 使用不同的LLM和提示构建DR分类器；3) 使用DR分类器标注数据集，生成多个候选DR标注；4) 使用不同的多数投票策略，将多个候选DR标注合并为最终的DR标注，生成多个银数据集；5) 对银数据集进行统计分析，揭示PTs和DRs之间的关系。

关键创新：关键创新在于利用LLM和提示工程，在缺乏标注数据的情况下，自动生成高质量的银数据集，从而能够研究PTs和DRs之间的关系。这种方法避免了耗时耗力的人工标注，并充分利用了LLM的知识和推理能力。

关键设计：论文评估了四个LLM，使用了10种不同的提示，生成了40个DR分类器。采用了不同的多数投票策略（例如，要求所有分类器一致同意，或者只要求超过一半的分类器同意）来生成不同的银数据集。最终，通过统计分析，确定了六种在说服文本中起关键作用的DRs：Cause, Purpose, Contrast, Cause+Belief, Concession, 和 Condition。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验发现，六种论述关系（Cause, Purpose, Contrast, Cause+Belief, Concession, 和 Condition）在说服性文本中起着至关重要的作用，尤其是在使用Loaded Language, Exaggeration/Minimisation, Repetition 和 to cast Doubt等说服技巧时。这些发现为理解说服性文本的内在机制提供了新的视角。

🎯 应用场景

该研究成果可应用于在线宣传和虚假信息的检测，通过分析文本中的论述关系和说服技巧，识别潜在的恶意信息。此外，该研究还可以帮助人们更好地理解有效的沟通策略，从而在写作、演讲和辩论等领域提高说服力。未来，可以进一步研究不同文化背景下PTs和DRs之间的关系。

📄 摘要（原文）

This paper investigates the relationship between Persuasion Techniques (PTs) and Discourse Relations (DRs) by leveraging Large Language Models (LLMs) and prompt engineering. Since no dataset annotated with both PTs and DRs exists, we took the SemEval 2023 Task 3 dataset labelled with 19 PTs as a starting point and developed LLM-based classifiers to label each instance of the dataset with one of the 22 PDTB 3.0 level-2 DRs. In total, four LLMs were evaluated using 10 different prompts, resulting in 40 unique DR classifiers. Ensemble models using different majority-pooling strategies were used to create 5 silver datasets of instances labelled with both persuasion techniques and level-2 PDTB senses. The silver dataset sizes vary from 1,281 instances to 204 instances, depending on the majority pooling technique used. Statistical analysis of these silver datasets shows that six discourse relations (namely Cause, Purpose, Contrast, Cause+Belief, Concession, and Condition) play a crucial role in persuasive texts, especially in the use of Loaded Language, Exaggeration/Minimisation, Repetition and to cast Doubt. This insight can contribute to detecting online propaganda and misinformation, as well as to our general understanding of effective communication.