Contextualized Prompting For Stance Detection On Social Media

📄 arXiv: 2606.06022v1 📥 PDF

作者: Tilman Beck, Shakib Yazdani, Simon Kruschinski, Marcus Maurer, Iryna Gurevych

分类: cs.CL

发布日期: 2026-06-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出上下文化提示以解决社交媒体立场检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 社交媒体 上下文化提示 大型语言模型 数据集 零样本学习 信息提取

📋 核心要点

  1. 社交媒体上的立场检测面临短小、嘈杂和依赖上下文的语言挑战，现有方法通常缺乏上下文信息。
  2. 本文提出将真实世界、派生和LLM生成的上下文特征整合到零样本提示中，以提高立场检测的准确性。
  3. 实验结果表明，整合上下文信息在特定条件下能显著提高性能，尤其是LLM生成的目标描述表现优异。

📝 摘要（中文）

社交媒体上的立场检测因语言短小、嘈杂且依赖上下文而面临挑战。尽管大型语言模型（LLMs）展现出零样本泛化能力，但通常缺乏上下文信息的提示限制了其对模糊帖子的理解。本文系统性研究了将真实世界（如用户简介）、派生（如政党）和LLM生成（如目标描述）上下文特征融入零样本提示对Twitter立场检测的影响。通过四个基准数据集的评估，包括一个新的高质量德语Twitter立场数据集，我们发现整合上下文信息在特定条件下能提高性能。LLM生成的目标描述始终提升准确性，而其他用户元数据效果不一，甚至有时有害。值得注意的是，包含同一用户的其他推文可能因输入噪声而降低性能。我们的定性分析揭示LLMs难以区分任务特定的有用信息与无关上下文。研究结果强调了在嘈杂的现实环境中使用上下文信息提示的潜力与挑战。

🔬 方法详解

问题定义：本文旨在解决社交媒体上立场检测中的上下文缺失问题。现有方法在处理模糊和嘈杂的语言时，往往无法有效利用上下文信息，导致性能下降。

核心思路：论文的核心思路是通过整合多种上下文特征（如用户信息和目标描述）来增强零样本提示的效果，从而提高立场检测的准确性。这样的设计旨在帮助模型更好地理解社交媒体中的复杂语言环境。

技术框架：整体架构包括数据预处理、上下文特征提取、提示生成和模型评估四个主要模块。首先，从用户资料和推文中提取上下文信息，然后生成包含这些信息的提示，最后使用多个LLM进行立场检测并评估其性能。

关键创新：最重要的技术创新在于系统性地评估不同类型的上下文特征对立场检测的影响，尤其是LLM生成的目标描述在提高准确性方面的显著作用。这与传统方法的单一提示方式形成鲜明对比。

关键设计：在参数设置上，研究中使用了多种LLM模型进行对比实验，并通过不同的上下文特征组合进行性能评估。损失函数和网络结构的具体细节未在摘要中详细说明，需参考原文获取更多信息。

📊 实验亮点

实验结果显示，整合上下文信息在特定条件下显著提高了立场检测的准确性。特别是，LLM生成的目标描述在多个基准数据集上均表现出一致的性能提升，而其他用户元数据的效果则存在不确定性，甚至可能导致性能下降。

🎯 应用场景

该研究的潜在应用场景包括社交媒体内容分析、舆情监测和在线评论情感分析等领域。通过提高立场检测的准确性，能够更好地理解公众意见和情感趋势，进而为决策提供支持。未来，该方法可能在政治分析、市场研究等领域产生深远影响。

📄 摘要（原文）

Stance detection on social media is challenging due to short, noisy, and context-dependent language. While large language models (LLMs) show zero-shot generalization, they are typically prompted without contextual information, which limits their ability to interpret ambiguous posts. In this work, we systematically investigate the impact of incorporating real-world (e.g., user biographies), derived (e.g., political party), and LLM-generated (e.g., target descriptions) contextual features into zero-shot prompting for stance detection on Twitter. Our evaluation spans four benchmark datasets, including a new high-quality German Twitter stance dataset. Across multiple LLMs, we find that integrating contextual information improves performance, but only under specific conditions. LLM-generated target descriptions consistently enhance accuracy, while other user metadata has mixed or even detrimental effects. Notably, we show that the inclusion of other tweets by the same user, often beneficial in supervised learning, can impair performance due to input noise. Our qualitative analysis reveals that LLMs struggle to distinguish task-specific useful information from irrelevant context. Our findings highlight both the promise and challenges of prompting with context information in noisy real-world settings. We publish code and data at this \href{https://github.com/tilmanbeck/stance-context-twitter}{page}.