MoPrO-SD: Modular Prompt Optimization for Stance Detection

📄 arXiv: 2610.13386v1 📥 PDF

作者: Meysam Sabbaghan, Nikesh Gyawali, Arman Zareian Jahromi, Sebastian Loera-Lozano, Doina Caragea, Cornelia Caragea

分类: cs.CL

发布日期: 2026-10-09

💡 一句话要点

提出MoPrO-SD框架以优化立场检测中的提示设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 提示优化 大型语言模型 语义模块 类条件反馈 疫苗立场 文本分类 推理策略

📋 核心要点

  1. 现有的立场检测方法在处理隐含意见和讽刺等复杂表达时存在不足，导致模型性能受限。
  2. MoPrO-SD框架通过将提示分解为语义模块，并利用LLM反馈进行逐步优化，专注于立场标签的语义特性。
  3. 实验结果显示，MoPrO-SD在多个数据集上显著提升了立场检测的性能，尤其是在SemEval-2016数据集上表现突出。

📝 摘要（中文）

立场检测对于大型语言模型（LLMs）仍然具有挑战性，主要由于隐含意见、讽刺和上下文依赖的立场表达。尽管自动提示优化提供了一种无需更新模型参数的替代方案，但现有的结构化方法并未专门针对立场标签语义和类特定的模糊性进行设计。本文提出了MoPrO-SD，一个立场特定的提示优化框架，通过将提示分解为功能语义模块并使用基于LLM的反馈进行逐步优化。我们研究了三种优化策略，并在多个数据集和开放权重的LLM上进行了实验，结果表明MoPrO-SD在许多设置中优于人工编写的基础提示。

🔬 方法详解

问题定义：本研究旨在解决立场检测中提示设计的不足，现有方法未能有效处理立场标签的语义和类特定模糊性，导致性能下降。

核心思路：MoPrO-SD框架的核心思路是将提示分解为多个功能性语义模块，并通过LLM反馈逐步优化这些模块，以提高立场检测的准确性和鲁棒性。

技术框架：该框架包括三个主要阶段：首先是提示的模块化分解；其次是基于三种不同的优化策略（仅指令、指令加推理、指令加示例推理）进行优化；最后是利用类条件错误进行立场标签的细化。

关键创新：MoPrO-SD的创新在于其立场特定的提示优化方法，区别于传统的通用提示优化，能够更好地捕捉立场表达的复杂性。

关键设计：在优化过程中，采用了类条件反馈来指导提示的细化，确保每个模块的优化都与特定的立场标签相关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SemEval-2016数据集上，使用类条件反馈的MoPrO-SD框架实现了比传统汇总反馈更高的平均宏F1分数，且在五个基础模型中有四个模型表现优于人类编写的基础提示。推理策略I+R和I+R+E在不同模型和数据集上均表现出强劲的性能，显示出其相对有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、舆情监测和公共健康传播等，能够帮助相关领域的研究者和从业者更准确地理解和分析公众的立场和情感。未来，MoPrO-SD框架有望在其他文本分类任务中推广应用，提升模型的适应性和性能。

📄 摘要（原文）

Stance detection remains challenging for large language models (LLMs) due to implicit opinions, sarcasm, and context-dependent expressions of stance. Although automatic prompt optimization offers an alternative to fine-tuning without updating model parameters, existing structured approaches are not specifically designed around stance-label semantics and class-specific ambiguities. We introduce MoPrO-SD, a stance-specific prompt optimization framework that decomposes prompts into functional semantic modules and refines them sequentially using LLM-based feedback. We study three refinement strategies: instruction-only optimization (I), instruction with reasoning (I+R), and instruction with per-example reasoning (I+R+E), using class-conditioned errors for stance-label refinement. We also introduce VaccineStance, a new human-annotated benchmark for vaccine stance detection. Experiments across four datasets and five open-weight LLMs show that MoPrO-SD improves upon the human-written Base prompt in many settings. On SemEval-2016, class-conditioned feedback achieves higher mean Macro-F1 than pooled feedback for four of five backbones. Both reasoning-based strategies, I+R and I+R+E, achieve strong performance, with their relative effectiveness varying across models and datasets, while remaining competitive with recent prompt optimization methods. The MoPrO-SD code and VaccineStance dataset are available on GitHub.