C-MTCSD: A Chinese Multi-Turn Conversational Stance Detection Dataset

📄 arXiv: 2504.09958v2 📥 PDF

作者: Fuqiang Niu, Yi Yang, Xianghua Fu, Genan Dai, Bowen Zhang

分类: cs.CL

发布日期: 2025-04-14 (更新: 2025-04-18)

备注: WWW2025

💡 一句话要点

提出C-MTCSD：一个大规模中文多轮对话立场检测数据集，用于提升社交媒体分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 中文多轮对话 社交媒体分析 数据集构建 自然语言处理

📋 核心要点

  1. 现有中文立场检测方法在处理多轮对话和隐式立场方面存在不足，难以有效分析社交媒体讨论。
  2. 论文构建了一个大规模的中文多轮对话立场检测数据集C-MTCSD，旨在促进相关研究并提供更可靠的评估基准。
  3. 实验结果表明，即使是最先进的模型在C-MTCSD上仍面临挑战，尤其是在零样本和深层对话场景下，性能有待提升。

📝 摘要（中文）

立场检测是分析社交媒体公共讨论的重要工具。现有方法在中文处理和多轮对话分析方面面临挑战。本文提出了C-MTCSD，这是目前最大的中文多轮对话立场检测数据集，包含来自新浪微博的24,264个精心标注的实例，是之前唯一中文对话立场检测数据集的4.2倍。使用传统方法和大型语言模型的综合评估表明C-MTCSD的复杂性：即使是最先进的模型在具有挑战性的零样本设置中也仅达到64.07%的F1分数，并且性能随着对话深度的增加而持续下降。传统模型在隐式立场检测方面表现不佳，F1分数低于50%。这项工作为中文立场检测研究建立了一个具有挑战性的新基准，突出了未来改进的巨大机会。

🔬 方法详解

问题定义：论文旨在解决中文多轮对话场景下的立场检测问题。现有方法在处理中文的复杂性和多轮对话的上下文依赖性方面存在不足，尤其是在隐式立场的识别上表现较差。此外，缺乏大规模的中文多轮对话立场检测数据集也限制了相关研究的进展。

核心思路：论文的核心思路是通过构建一个大规模、高质量的中文多轮对话立场检测数据集C-MTCSD，为研究者提供一个更具挑战性和代表性的评估基准。同时，通过在该数据集上评估现有模型，揭示现有方法在中文多轮对话立场检测方面的局限性，从而推动相关算法的改进。

技术框架：论文主要工作集中在数据集的构建和评估上。数据集构建过程包括数据收集、清洗、标注和质量控制等环节。评估方面，论文采用了传统机器学习方法和大型语言模型，并在C-MTCSD上进行了实验。评估指标主要包括F1分数等。

关键创新：论文的关键创新在于构建了目前最大的中文多轮对话立场检测数据集C-MTCSD。该数据集的规模和质量都超过了现有的数据集，为中文多轮对话立场检测研究提供了一个新的基准。此外，论文还通过实验揭示了现有方法在C-MTCSD上的局限性，为未来的研究方向提供了指导。

关键设计：数据集C-MTCSD包含24,264个实例，来自新浪微博。标注过程采用了人工标注，并进行了严格的质量控制，以保证标注的准确性。评估实验中，论文采用了多种传统机器学习方法和大型语言模型，并针对不同的对话深度和立场类型进行了分析。具体的参数设置和模型结构在论文中未详细描述，属于现有模型的默认配置。

📊 实验亮点

C-MTCSD数据集规模是现有中文对话立场检测数据集的4.2倍。实验结果表明，即使是最先进的模型在C-MTCSD的零样本设置下也仅达到64.07%的F1分数，传统模型在隐式立场检测上的F1分数低于50%。这些结果突显了C-MTCSD的挑战性，并为未来的研究提供了明确的方向。

🎯 应用场景

该研究成果可应用于社交媒体舆情分析、网络安全监控、智能客服等领域。通过准确识别用户在对话中的立场，可以更好地理解公众对特定事件或话题的观点和态度，为政府、企业和个人提供决策支持。未来，该数据集可以促进更先进的中文立场检测算法的研发，提升相关应用的效果。

📄 摘要（原文）

Stance detection has become an essential tool for analyzing public discussions on social media. Current methods face significant challenges, particularly in Chinese language processing and multi-turn conversational analysis. To address these limitations, we introduce C-MTCSD, the largest Chinese multi-turn conversational stance detection dataset, comprising 24,264 carefully annotated instances from Sina Weibo, which is 4.2 times larger than the only prior Chinese conversational stance detection dataset. Our comprehensive evaluation using both traditional approaches and large language models reveals the complexity of C-MTCSD: even state-of-the-art models achieve only 64.07% F1 score in the challenging zero-shot setting, while performance consistently degrades with increasing conversation depth. Traditional models particularly struggle with implicit stance detection, achieving below 50% F1 score. This work establishes a challenging new benchmark for Chinese stance detection research, highlighting significant opportunities for future improvements.