Collaborative Stance Detection via Small-Large Language Model Consistency Verification

📄 arXiv: 2502.19954v2 📥 PDF

作者: Yu Yan, Sheng Sun, Zixiang Tang, Teli Liu, Min Liu

分类: cs.CL, cs.AI

发布日期: 2025-02-27 (更新: 2025-08-22)

💡 一句话要点

提出CoVer框架，通过大小语言模型一致性验证提升社交媒体立场检测效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 大型语言模型 小型语言模型 一致性验证 社交媒体 零样本学习 协同推理

📋 核心要点

  1. 现有立场检测方法过度依赖LLM，成本高昂，不适用于大规模社交媒体监控系统。
  2. CoVer框架通过LLM批量推理和SLM逻辑验证，在保证性能的同时降低LLM的使用成本。
  3. 实验表明，CoVer在多个基准测试中优于现有方法，并显著降低了LLM的查询次数。

📝 摘要（中文）

社交媒体上的立场检测旨在识别推文中表达的对特定目标的态度。目前的研究由于大型语言模型(LLM)提供的巨大性能提升，优先考虑使用LLM。然而，过度依赖LLM进行立场检测，而不考虑成本，对于需要大量数据分析的实际社交媒体监控系统来说是不切实际的。为此，我们提出了基于大小语言模型一致性验证的协同立场检测(CoVer)框架，该框架通过上下文共享的批量推理以及LLM和小型语言模型(SLM)之间的逻辑验证来增强LLM的利用率。具体来说，CoVer不是单独处理每个文本，而是按批处理文本，通过LLM在共享上下文中进行推理，获得立场预测和相应的解释。然后，为了排除上下文噪声引起的偏差，CoVer引入SLM进行逻辑一致性验证。最后，对于重复表现出低逻辑一致性的文本，使用先前LLM立场预测的一致性加权聚合进行分类。实验表明，CoVer在零样本设置下优于多个基准测试中的最先进方法，在显著提高性能的同时，每个推文仅需0.54次LLM查询。我们的CoVer为社交媒体立场检测的LLM部署提供了一个更实用的解决方案。

🔬 方法详解

问题定义：论文旨在解决社交媒体立场检测中，过度依赖大型语言模型（LLM）导致的高成本问题。现有方法通常直接使用LLM进行立场检测，虽然性能较好，但计算资源消耗巨大，难以应用于需要处理海量数据的实际社交媒体监控场景。因此，如何在保证性能的前提下，降低LLM的使用成本，是本研究要解决的核心问题。

核心思路：论文的核心思路是利用小型语言模型（SLM）对大型语言模型（LLM）的推理结果进行一致性验证，从而减少LLM的调用次数。具体来说，首先使用LLM进行批量推理，获得立场预测和解释；然后，利用SLM对LLM的解释进行逻辑一致性验证，判断LLM的推理是否可靠；最后，对于一致性较低的样本，采用一致性加权聚合的方式进行最终预测。这样，只有在SLM无法确认LLM推理结果时，才需要进一步的LLM干预，从而降低了LLM的使用成本。

技术框架：CoVer框架主要包含以下几个模块： 1. 上下文共享的批量推理：将多个文本组合成批次，利用LLM在共享上下文中进行推理，获得立场预测和相应的解释。 2. 逻辑一致性验证：使用SLM对LLM提供的解释进行逻辑一致性验证，判断LLM的推理是否合理。 3. 一致性加权聚合：对于逻辑一致性较低的文本，使用先前LLM立场预测的一致性加权聚合进行最终分类。 整个流程旨在通过SLM的辅助验证，减少对LLM的直接依赖，从而降低计算成本。

关键创新：CoVer框架的关键创新在于引入了SLM进行逻辑一致性验证，这是一种协同利用大小语言模型的新思路。与传统方法直接依赖LLM不同，CoVer通过SLM对LLM的推理过程进行监督，从而在保证性能的同时，显著降低了LLM的使用成本。这种协同验证的机制，使得CoVer能够更有效地利用有限的计算资源，适用于大规模社交媒体监控场景。

关键设计：论文中关键的设计包括： 1. 上下文共享策略：批量推理时，如何构建共享上下文，以提高LLM的推理效率。 2. 逻辑一致性验证方法：如何设计SLM的验证策略，以准确判断LLM推理的可靠性。 3. 一致性加权聚合策略：如何根据SLM的验证结果，对LLM的多次预测结果进行加权聚合，以提高最终预测的准确性。 具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述，但摘要中未明确提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoVer框架在多个基准测试中优于现有最先进方法，并在零样本设置下取得了显著的性能提升。更重要的是，CoVer显著降低了LLM的查询次数，每个推文仅需0.54次LLM查询，这表明CoVer在保证性能的同时，有效降低了计算成本，为LLM在社交媒体立场检测中的实际应用提供了更可行的方案。

🎯 应用场景

该研究成果可应用于大规模社交媒体舆情监控、虚假信息检测、网络安全等领域。通过降低LLM的使用成本，使得在资源受限的环境下也能进行高效的立场检测和情感分析，为政府机构、企业和研究人员提供更经济、实用的解决方案。未来，该方法有望推广到其他自然语言处理任务中，实现更广泛的应用。

📄 摘要（原文）

Stance detection on social media aims to identify attitudes expressed in tweets towards specific targets. Current studies prioritize Large Language Models (LLMs) over Small Language Models (SLMs) due to the overwhelming performance improving provided by LLMs. However, heavily relying on LLMs for stance detection, regardless of the cost, is impractical for real-world social media monitoring systems that require vast data analysis. To this end, we propose \textbf{\underline{Co}}llaborative Stance Detection via Small-Large Language Model Consistency \textbf{\underline{Ver}}ification (\textbf{CoVer}) framework, which enhances LLM utilization via context-shared batch reasoning and logical verification between LLM and SLM. Specifically, instead of processing each text individually, CoVer processes texts batch-by-batch, obtaining stance predictions and corresponding explanations via LLM reasoning in a shared context. Then, to exclude the bias caused by context noises, CoVer introduces the SLM for logical consistency verification. Finally, texts that repeatedly exhibit low logical consistency are classified using consistency-weighted aggregation of prior LLM stance predictions. Our experiments show that CoVer outperforms state-of-the-art methods across multiple benchmarks in the zero-shot setting, achieving 0.54 LLM queries per tweet while significantly enhancing performance. Our CoVer offers a more practical solution for LLM deploying for social media stance detection.