StanceEval 2026: The Second Stance Detection Shared Task
作者: Rasha Albalawi, Nuha Albadi, Hamzah Luqman, Asma Yamani, Maram Kurdi, Saad Ezzini, Ahmed Ashraf, Maged Al-Shaibani, Nora Alturayeif
分类: cs.CL
发布日期: 2026-10-02
备注: 14 pages total (8 pages main paper + 6 pages appendix), 5 tables in the main paper, excluding the appendix
💡 一句话要点
提出StanceEval 2026以解决阿拉伯社交媒体立场检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 立场检测 社交媒体分析 阿拉伯语处理 迁移学习 自然语言处理 模型评估 语言模型
📋 核心要点
- 现有立场检测方法在处理不同主题时的泛化能力不足，尤其是在阿拉伯社交媒体文本中表现不佳。
- 论文提出通过两个评估轨道来测试跨目标和跨领域的迁移能力，增强模型的泛化性能。
- 实验结果显示，顶尖系统在两个轨道上均取得了显著的F_{avg2}分数，超越了基线，尤其在未见目标上表现更佳。
📝 摘要（中文）
StanceEval 2026是第二届关于阿拉伯社交媒体文本立场检测的共享任务。立场检测旨在识别作者对特定主题的态度。参与系统需判断作者的立场为支持、反对或无立场。本届任务聚焦于跨目标泛化，设有两个评估轨道：轨道1评估主题相关的跨目标迁移，轨道2评估完全未见目标的跨领域迁移。共有80个注册团队参与，30个团队提交了参赛作品，最终21个团队在轨道1中排名，13个团队在轨道2中排名。参与团队采用了多种方法，包括微调的预训练语言模型和混合级联等。顶尖系统在轨道1和轨道2上分别取得了0.8994和0.9400的F_{avg2}分数，显著超越了最强基线。
🔬 方法详解
问题定义：本研究旨在解决阿拉伯社交媒体文本中的立场检测问题，现有方法在不同主题和领域的泛化能力较弱，导致检测效果不理想。
核心思路：通过设置两个评估轨道，分别针对主题相关的跨目标迁移和完全未见目标的跨领域迁移，提升模型的适应性和准确性。
技术框架：整体架构包括数据预处理、模型训练和评估阶段。参与团队使用了多种技术，如微调的预训练语言模型和检索增强的大型语言模型。
关键创新：本研究的创新点在于通过跨目标和跨领域的评估轨道，探索不同主题间的立场检测能力，尤其是在未见目标上的表现。
关键设计：参与团队在模型设计中采用了多种策略，包括损失函数的优化、模型参数的微调，以及对不同类型数据的适应性调整。实验中还考虑了方言和讽刺等语言特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，顶尖系统在轨道1和轨道2上分别取得了0.8994和0.9400的F_{avg2}分数，显著超越了最强基线（0.7366和0.7475）。有趣的是，未见目标的检测性能反而高于相关目标，可能与目标极端化、类别不平衡及方言或讽刺的细微差别有关。
🎯 应用场景
该研究的潜在应用领域包括社交媒体监测、舆情分析和自动化内容审核等。通过提高立场检测的准确性，可以更好地理解公众对特定话题的态度，从而为政策制定和市场营销提供数据支持。未来，该技术还可能扩展到其他语言和文化背景的社交媒体文本分析中。
📄 摘要（原文）
StanceEval 2026 is the second edition of the StanceEval shared task series on stance detection in Arabic social media text. Stance detection aims to identify a writer's stance toward a given topic. Given a tweet and a target, participating systems must determine whether the writer's stance is Favor, Against, or None. This edition focuses on cross-target generalization across two distinct evaluation tracks: Track 1 evaluates thematically related cross-target transfer (testing on Women Driving, related to Women Empowerment from training data), while Track 2 evaluates cross-domain transfer to completely unseen targets (E-Cars and Trimester System). The shared task attracted 80 registered teams from 12 countries. During the evaluation phase, 30 unique teams submitted entries, with 21 teams officially ranked in Track 1 and 13 in Track 2 following validation filtering, and 20 teams submitting system-description papers. Participating teams employed diverse methodologies, including fine-tuned pretrained language models, prompt-based and retrieval-augmented large language models (LLMs), fine-tuned LLMs, and hybrid cascades. Top systems achieved impressive $F_{avg2}$ scores of 0.8994 on Track 1 and 0.9400 on Track 2, substantially outperforming the strongest baselines (0.7366 and 0.7475, respectively), where $F_{avg2}$ denotes the macro-averaged F1 score over the Favor and Against classes. Counterintuitively, performance on the unseen targets was higher than on the related target, a disparity could be driven by extreme target polarization, class imbalance, and dialectal or sarcastic nuance across topics.