Enhancing Aspect-based Sentiment Analysis in Tourism Using Large Language Models and Positional Information

📄 arXiv: 2409.14997v1 📥 PDF

作者: Chun Xu, Mengmeng Wang, Yan Ren, Shaolin Zhu

分类: cs.CL

发布日期: 2024-09-23

备注: 19 pages, 17 figures

💡 一句话要点

提出ACOS_LLM模型，利用大语言模型和位置信息增强旅游领域面向属性的情感分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 属性抽取 大语言模型 旅游领域 位置信息

📋 核心要点

  1. 传统ABSA流水线模型存在误差传播和情感元素抽取不完整的问题，限制了旅游领域情感分析的准确性。
  2. ACOS_LLM模型通过微调压缩大语言模型生成辅助知识，并结合位置信息和序列建模实现更精确的四元组抽取。
  3. 实验结果表明，ACOS_LLM在旅游数据集和公开数据集上均取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

本文针对旅游领域中基于属性的情感分析(ABSA)问题，提出了一种名为ACOS_LLM的模型，用于属性-类别-观点-情感四元组抽取(ACOSQE)。该模型包含辅助知识生成和ACOSQE两个阶段。首先，使用Adalora微调大型语言模型以生成高质量的辅助知识，并利用Sparsegpt将微调后的模型压缩至50%稀疏度以提高效率。然后，利用位置信息和序列建模实现ACOSQE任务，输入为辅助知识和原始文本。在自建旅游数据集以及公开数据集Rest15和Rest16上的实验结果表明，该模型表现优异，在旅游数据集上的F1值比其他模型提高了7.49%，在Rest15和Rest16数据集上分别提高了0.05%和1.06%。

🔬 方法详解

问题定义：论文旨在解决旅游领域中基于属性的情感分析任务，具体为属性-类别-观点-情感四元组抽取(ACOSQE)。现有方法，特别是传统的流水线模型，容易出现误差传播，并且在抽取情感元素时不够完整，导致分析结果不准确。

核心思路：论文的核心思路是利用大型语言模型(LLM)的强大知识和生成能力，生成高质量的辅助知识，从而帮助模型更准确地识别和抽取情感四元组。同时，为了提高效率，对LLM进行压缩。此外，还利用位置信息来增强模型对文本中各个元素之间关系的理解。

技术框架：ACOS_LLM模型包含两个主要阶段：辅助知识生成和ACOSQE。在辅助知识生成阶段，首先使用Adalora算法对LLM进行微调，使其适应旅游领域的文本数据。然后，使用Sparsegpt算法对微调后的LLM进行压缩，以减少计算成本。在ACOSQE阶段，将辅助知识和原始文本作为输入，利用位置信息和序列建模技术，实现属性、类别、观点和情感的抽取。

关键创新：该论文的关键创新在于将大型语言模型与位置信息相结合，用于解决旅游领域的ABSA问题。具体来说，利用LLM生成辅助知识，可以弥补传统方法在情感元素抽取方面的不足。同时，使用位置信息可以帮助模型更好地理解文本中各个元素之间的关系，从而提高抽取精度。此外，对LLM进行压缩，可以在保证性能的同时，提高模型的效率。

关键设计：论文中使用了Adalora算法进行LLM微调，这是一种参数高效的微调方法，可以在较小的计算资源下实现较好的性能。Sparsegpt算法用于LLM压缩，可以在保证模型性能的同时，减少模型的参数量和计算量。在ACOSQE阶段，具体使用的序列建模技术和损失函数等细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ACOS_LLM模型在自建旅游数据集上取得了显著的性能提升，F1值比其他模型提高了7.49%。在公开数据集Rest15和Rest16上，F1值分别提高了0.05%和1.06%。这些结果表明，该模型在旅游领域ABSA任务中具有很强的竞争力，并且具有一定的泛化能力。

🎯 应用场景

该研究成果可应用于旅游行业的多个方面，例如，帮助旅游企业了解游客对不同景点的评价，从而改进服务和设施；为游客提供更个性化的旅游推荐；监测旅游舆情，及时发现和解决问题。此外，该方法还可以推广到其他领域，例如电商、餐饮等，用于分析用户对产品或服务的评价。

📄 摘要（原文）

Aspect-Based Sentiment Analysis (ABSA) in tourism plays a significant role in understanding tourists' evaluations of specific aspects of attractions, which is crucial for driving innovation and development in the tourism industry. However, traditional pipeline models are afflicted by issues such as error propagation and incomplete extraction of sentiment elements. To alleviate this issue, this paper proposes an aspect-based sentiment analysis model, ACOS_LLM, for Aspect-Category-Opinion-Sentiment Quadruple Extraction (ACOSQE). The model comprises two key stages: auxiliary knowledge generation and ACOSQE. Firstly, Adalora is used to fine-tune large language models for generating high-quality auxiliary knowledge. To enhance model efficiency, Sparsegpt is utilized to compress the fine-tuned model to 50% sparsity. Subsequently, Positional information and sequence modeling are employed to achieve the ACOSQE task, with auxiliary knowledge and the original text as inputs. Experiments are conducted on both self-created tourism datasets and publicly available datasets, Rest15 and Rest16. Results demonstrate the model's superior performance, with an F1 improvement of 7.49% compared to other models on the tourism dataset. Additionally, there is an F1 improvement of 0.05% and 1.06% on the Rest15 and Rest16 datasets, respectively.