Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media
作者: Jiaqing Yuan, Ruijie Xi, Munindar P. Singh
分类: cs.CL
发布日期: 2024-12-13 (更新: 2025-06-28)
备注: Accepted by ACM Hypertext 2025
💡 一句话要点
提出基于推理的生成式立场检测方法，提升小模型在社交媒体分析中的性能与可解释性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 立场检测 生成式模型 可解释性 社交媒体分析 推理 小语言模型 多任务学习
📋 核心要点
- 现有立场检测方法缺乏可解释性，难以提供透明的预测理由，限制了其应用。
- 论文提出一种生成式立场检测方法，通过显式推理过程提升模型的可解释性。
- 实验表明，该方法使小模型FlanT5超越GPT-3.5的零样本性能，提升高达9.57%。
📝 摘要（中文）
立场检测对于构建以人为中心的网络至关重要，它通过分析用户生成的内容来识别偏见和有害叙事，从而增强信任。随着大型语言模型（LLMs）的发展，现有方法将立场检测视为分类问题，为建模复杂的群体交互和提升自然语言任务能力提供了强大的方法。然而，这些方法通常缺乏可解释性，限制了其为预测提供透明和可理解的理由的能力。本研究采用了一种生成式方法，其中立场预测包括显式的、可解释的理由，并通过单任务和多任务学习将其集成到较小的语言模型中。研究发现，将推理融入立场检测使较小的模型（FlanT5）能够超越GPT-3.5的零样本性能，实现了高达9.57%的改进。此外，结果表明，推理能力增强了多任务学习的性能，但可能会降低单任务设置中的有效性。至关重要的是，我们证明了忠实的理由可以改善理由蒸馏到SLM中，从而推进了构建可解释、可信赖的系统，以解决歧视、促进信任和促进社交媒体上的公平参与。
🔬 方法详解
问题定义：论文旨在解决社交媒体立场检测中现有方法缺乏可解释性的问题。现有方法通常将立场检测视为分类任务，虽然在性能上有所提升，但无法提供预测结果的理由，导致用户难以信任和理解模型的决策过程。这限制了模型在需要透明度和可信度的应用场景中的应用，例如识别网络欺凌和虚假信息等。
核心思路：论文的核心思路是将立场检测任务转化为一个生成式任务，模型不仅需要预测立场，还需要生成解释该立场的理由。通过显式地生成理由，模型能够提供可解释的预测结果，从而增强用户的信任感。同时，论文还探索了如何将这种推理能力迁移到较小的语言模型中，使其能够在资源受限的环境中实现高性能和可解释性。
技术框架：论文采用生成式框架，主要包含以下几个阶段：1) 输入社交媒体文本；2) 模型生成立场预测和相应的理由；3) 使用单任务或多任务学习对模型进行训练。模型架构基于FlanT5，通过微调使其具备生成立场和理由的能力。论文还研究了如何将大型语言模型的推理能力蒸馏到较小的模型中，以提高小模型的性能。
关键创新：论文的关键创新在于将立场检测任务转化为生成式任务，并引入了显式的推理过程。与传统的分类方法相比，该方法能够提供可解释的预测结果，增强了模型的可信度。此外，论文还探索了如何将大型语言模型的推理能力迁移到较小的模型中，使其能够在资源受限的环境中实现高性能和可解释性。
关键设计：论文使用了FlanT5作为基础模型，并对其进行了微调。在训练过程中，论文采用了单任务和多任务学习两种策略。单任务学习只训练模型生成立场和理由，而多任务学习则同时训练模型执行其他相关任务，例如情感分析。论文还设计了一种损失函数，用于衡量生成理由的质量。此外，论文还研究了不同的理由生成策略，例如使用大型语言模型生成理由，然后将其作为训练数据用于训练小模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过引入推理能力，较小的模型（FlanT5）能够超越GPT-3.5的零样本性能，实现了高达9.57%的改进。此外，研究还发现，推理能力增强了多任务学习的性能，但可能会降低单任务设置中的有效性。论文还证明了忠实的理由可以改善理由蒸馏到SLM中。
🎯 应用场景
该研究成果可应用于社交媒体内容审核、舆情分析、虚假信息检测等领域。通过提供可解释的立场检测结果，可以帮助用户更好地理解社交媒体上的信息，识别潜在的偏见和有害叙事，从而促进更健康、更可信的网络环境。此外，该方法还可以用于构建更公平、更透明的人工智能系统。
📄 摘要（原文）
Stance detection is crucial for fostering a human-centric Web by analyzing user-generated content to identify biases and harmful narratives that undermine trust. With the development of Large Language Models (LLMs), existing approaches treat stance detection as a classification problem, providing robust methodologies for modeling complex group interactions and advancing capabilities in natural language tasks. However, these methods often lack interpretability, limiting their ability to offer transparent and understandable justifications for predictions. This study adopts a generative approach, where stance predictions include explicit, interpretable rationales, and integrates them into smaller language models through single-task and multitask learning. We find that incorporating reasoning into stance detection enables the smaller model (FlanT5) to outperform GPT-3.5's zero-shot performance, achieving an improvement of up to 9.57%. Moreover, our results show that reasoning capabilities enhance multitask learning performance but may reduce effectiveness in single-task settings. Crucially, we demonstrate that faithful rationales improve rationale distillation into SLMs, advancing efforts to build interpretable, trustworthy systems for addressing discrimination, fostering trust, and promoting equitable engagement on social media.