Consistency Analysis of Sentiment Predictions using Syntactic & Semantic Context Assessment Summarization (SSAS)

📄 arXiv: 2604.15547v1 📥 PDF

作者: Sharookh Daruwalla, Nitin Mayande, Shreeya Verma Kathuria, Nitin Joglekar, Charles Weber

分类: cs.CL, cs.AI

发布日期: 2026-04-16

备注: 27 pages, 2 figures. arXiv admin note: text overlap with arXiv:2604.12049

💡 一句话要点

提出SSAS框架，通过上下文评估提升LLM情感预测的一致性和数据质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大型语言模型 上下文建模 数据质量 一致性 摘要之摘要 句法分析 语义分析

📋 核心要点

  1. 现有LLM在情感预测中存在一致性问题，难以满足企业级分析的可靠性需求，且易受噪声数据干扰。
  2. SSAS框架通过句法和语义分析构建上下文，利用分层分类和摘要之摘要方法，为LLM提供高质量的输入。
  3. 实验表明，SSAS框架在多个数据集上显著提升了情感预测的数据质量和一致性，最高提升达30%。

📝 摘要（中文）

大型语言模型（LLM）在情感预测等企业级分析应用中面临一致性挑战，源于其内在的随机性和现代数据集的噪声。为了解决这个问题，我们提出了一个句法和语义上下文评估摘要（SSAS）框架，用于建立上下文。SSAS通过分层分类结构（主题、故事、集群）和迭代的摘要之摘要（SoS）架构来计算上下文，从而实现有界注意力机制。这为原始文本提供了高信号、情感密集型的提示，有效缓解了无关数据和分析方差。在Amazon Product Reviews、Google Business Reviews和Goodreads Book Reviews等数据集上的实验结果表明，SSAS框架能够显著提高数据质量，最高可达30%，这归功于噪声消除和情感预测估计的改进。SSAS的上下文估计能力为决策提供了稳定可靠的依据。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在情感预测任务中一致性不足的问题。现有的LLM由于其生成性和非确定性，以及现实世界数据集的噪声，导致情感预测结果不稳定，难以应用于需要可靠性的企业级分析。

核心思路：论文的核心思路是通过预处理原始文本，建立清晰的上下文，从而引导LLM的注意力，减少噪声干扰，提高情感预测的一致性。具体而言，通过句法和语义分析，将文本组织成主题、故事和集群等层次结构，并利用摘要之摘要（Summary-of-Summaries, SoS）的方法提取关键信息。

技术框架：SSAS框架包含以下主要模块：1) 分层分类结构：将原始文本按照主题、故事和集群进行组织，形成层次化的结构。2) 摘要之摘要（SoS）：迭代地生成摘要，从细粒度的文本片段到更高层次的上下文表示。3) 情感预测：使用LLM（例如Gemini 2.0 Flash Lite）对经过SSAS处理后的文本进行情感预测。

关键创新：SSAS的关键创新在于其上下文建模方法，它不仅仅是简单地对文本进行摘要，而是通过分层结构和迭代摘要的方式，逐步提取和强化与情感相关的关键信息。这种方法能够有效地过滤噪声，提高LLM对情感的感知能力。

关键设计：SSAS框架的关键设计包括：1) 主题、故事和集群的定义：这些层次结构的划分标准需要根据具体的应用场景进行调整。2) 摘要算法的选择：摘要算法的选择会影响上下文信息的提取质量。3) LLM的选择和配置：选择合适的LLM，并对其进行适当的微调，可以进一步提高情感预测的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SSAS框架在三个行业标准数据集（Amazon Product Reviews、Google Business Reviews、Goodreads Book Reviews）上，相对于直接使用LLM的方法，数据质量提升高达30%。这表明SSAS框架能够有效地去除噪声，并改善情感预测的准确性，从而为决策提供更可靠的依据。

🎯 应用场景

该研究成果可广泛应用于情感分析相关的领域，如舆情监控、市场调研、客户反馈分析等。通过提高情感预测的准确性和一致性，可以为企业决策提供更可靠的依据，降低风险，提升效率。未来，该方法有望扩展到其他自然语言处理任务，如文本分类、信息抽取等。

📄 摘要（原文）

The fundamental challenge of using Large Language Models (LLMs) for reliable, enterprise-grade analytics, such as sentiment prediction, is the conflict between the LLMs' inherent stochasticity (generative, non-deterministic nature) and the analytical requirement for consistency. The LLM inconsistency, coupled with the noisy nature of chaotic modern datasets, renders sentiment predictions too volatile for strategic business decisions. To resolve this, we present a Syntactic & Semantic Context Assessment Summarization (SSAS) framework for establishing context. Context established by SSAS functions as a sophisticated data pre-processing framework that enforces a bounded attention mechanism on LLMs. It achieves this by applying a hierarchical classification structure (Themes, Stories, Clusters) and an iterative Summary-of-Summaries (SoS) based context computation architecture. This endows the raw text with high-signal, sentiment-dense prompts, that effectively mitigate both irrelevant data and analytical variance. We empirically evaluated the efficacy of SSAS, using Gemini 2.0 Flash Lite, against a direct-LLM approach across three industry-standard datasets - Amazon Product Reviews, Google Business Reviews, Goodreads Book Reviews - and multiple robustness scenarios. Our results show that our SSAS framework is capable of significantly improving data quality, up to 30%, through a combination of noise removal and improvement in the estimation of sentiment prediction. Ultimately, consistency in our context-estimation capabilities provides a stable and reliable evidence base for decision-making.