Can Decision Models Understand Stance? Evaluating Jev Against General-Purpose LLMs

📄 arXiv: 2610.11901v1 📥 PDF

作者: Xing Li, Jinzhong Ning, Yijia Zhang, Liang Yang, Hongfei Lin

分类: cs.CL

发布日期: 2026-10-08

备注: 8 pages, 1 figure, 5 tables

💡 一句话要点

提出Jev模型以解决立场检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 决策模型 对话理解 自然语言处理 机器学习

📋 核心要点

  1. 立场检测的现有方法在理解对话上下文和区分态度方面存在不足，尤其是在复杂的对话场景中。
  2. Jev模型专注于结构化决策，通过特定的设计来提高对立场的理解能力，提供了对通用LLMs的有效替代。
  3. 实验结果显示，Jev在VAST数据集上表现优异，超越了多个通用LLMs，但在ZS-CSD数据集上仍有提升空间。

📝 摘要（中文）

立场检测需要识别作者对特定目标的态度，有时需基于对话上下文。Jev是一种专门为结构化决策设计的决策模型，提供了与通用大型语言模型（LLMs）的替代方案。本文在两个立场检测数据集VAST（英文文本）和ZS-CSD（中文对话）上评估Jev，并与四个通用LLMs和两个微调模型进行比较。结果表明，Jev在VAST上表现出色，达到与GPT-5.6相当的水平，超越其他通用LLMs。然而，在ZS-CSD上，Jev的表现不如更强的LLMs，尤其是在区分支持与反对态度方面。进一步分析表明，这一限制可能与理解回复关系和立场方向有关，而不仅仅是对话长度。研究结果突显了Jev在立场检测中的潜力与局限性。

🔬 方法详解

问题定义：本论文旨在解决立场检测中的态度识别问题，现有方法在对话上下文理解和态度区分上存在局限性，尤其是在复杂对话中难以准确判断立场。

核心思路：Jev模型通过结构化决策的方式，专注于对话中的回复关系和立场方向，以提高立场检测的准确性。这样的设计使得模型能够更好地捕捉上下文信息，从而提升整体性能。

技术框架：Jev的整体架构包括数据预处理、特征提取、决策模型构建和结果输出四个主要模块。数据预处理阶段负责清洗和格式化输入数据，特征提取模块则提取对话中的关键信息，决策模型则基于这些特征进行立场判断。

关键创新：Jev的主要创新在于其专门针对立场检测的结构化决策机制，与传统的通用LLMs相比，Jev更注重对话上下文中的关系理解，能够更有效地区分支持与反对的态度。

关键设计：在模型设计中，Jev采用了特定的损失函数来优化立场分类的准确性，并在网络结构上进行了调整，以增强对话上下文的建模能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Jev在VAST数据集上达到了与GPT-5.6相当的性能，超越了其他通用LLMs。然而，在ZS-CSD数据集上，Jev在区分支持与反对态度方面的表现仍有待提升，这表明其在特定任务中的局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、舆情监测和客户反馈处理等。通过提高立场检测的准确性，Jev模型能够帮助企业和组织更好地理解公众态度，从而制定更有效的沟通策略和决策。未来，Jev的设计理念也可能被应用于其他自然语言处理任务中。

📄 摘要（原文）

Stance detection requires identifying an author's attitude toward a given target, sometimes based on conversational context. Jev, a specialized decision model designed for structured decision-making, offers an alternative to general-purpose large language models (LLMs). In this work, we evaluate Jev on two stance detection datasets, VAST (English texts) and ZS-CSD (Chinese conversations), comparing it with four general-purpose LLMs and two fine-tuned models. Results show that Jev achieves competitive performance on VAST, matching GPT-5.6 and outperforming the other general-purpose LLMs. However, it falls behind stronger LLMs on ZS-CSD, particularly in distinguishing favor from against. Further analysis suggests that this limitation may be related to understanding reply relationships and stance direction rather than conversation length alone. These findings highlight both the potential and limitations of Jev for stance detection.