Iterative Data Generation with Large Language Models for Aspect-based Sentiment Analysis

📄 arXiv: 2407.00341v2 📥 PDF

作者: Qihuang Zhong, Haiyun Li, Luyao Zhuang, Juhua Liu, Bo Du

分类: cs.CL

发布日期: 2024-06-29 (更新: 2024-09-30)

💡 一句话要点

提出迭代数据生成框架IDG，利用大语言模型提升面向方面的情感分析性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面向方面的情感分析 数据生成 大型语言模型 迭代学习 自我反思

📋 核心要点

  1. 现有ABSA数据生成方法存在流畅性差、多样性不足以及依赖标注数据等问题，限制了实际应用。
  2. IDG框架利用大语言模型的指令遵循、上下文学习和自我反思能力，迭代生成高质量伪标签数据。
  3. 实验表明，IDG在多个ABSA基准测试中显著提升了性能，合成数据甚至超越了人工标注数据。

📝 摘要（中文）

面向方面的情感分析(ABSA)是一项重要的情感分析任务，旨在确定句子中针对特定方面的情感极性。由于标注数据的昂贵和有限性，数据生成(DG)已成为提高ABSA性能的标准方法。然而，当前的DG方法通常存在一些缺点：1)流畅性和连贯性差，2)生成数据的多样性不足，3)依赖于一些现有的标注数据，阻碍了其在实际场景中的应用。随着大型语言模型(LLM)的进步，基于LLM的DG有潜力解决上述问题。然而，直接提示LLM难以生成所需的伪标签ABSA数据，因为LLM容易产生幻觉，导致不期望的数据生成。为此，我们提出了一个系统的迭代数据生成框架，即IDG，以提高ABSA的性能。IDG的核心是充分利用LLM的强大能力(即，指令遵循、上下文学习和自我反思)来迭代生成更流畅和更多样化的伪标签数据，从无监督的句子语料库开始。具体来说，IDG设计了一种新颖的迭代数据生成机制和一个自我反思数据过滤模块，以应对由幻觉引起的意外数据生成挑战。在四个广泛使用的ABSA基准上的大量实验表明，IDG在五个基线ABSA模型中带来了持续和显著的性能提升。更令人鼓舞的是，IDG生成的合成数据可以实现与手动标注数据相当甚至更好的性能。

🔬 方法详解

问题定义：论文旨在解决面向方面的情感分析（ABSA）中，由于标注数据稀缺而导致模型性能受限的问题。现有数据生成方法存在生成数据质量不高（流畅性、连贯性差）、多样性不足以及过度依赖现有标注数据等痛点，难以满足实际应用需求。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的生成能力，通过迭代的方式生成高质量的伪标签数据，从而提升ABSA模型的性能。通过迭代生成和自我反思过滤，逐步提高生成数据的质量和多样性，摆脱对少量标注数据的依赖。

技术框架：IDG框架包含两个主要模块：迭代数据生成机制和自我反思数据过滤模块。首先，利用LLM从无监督语料库中生成初始伪标签数据。然后，通过迭代的方式，利用生成的数据进一步训练LLM，并生成新的数据。在每次迭代后，使用自我反思数据过滤模块，对生成的数据进行质量评估和过滤，去除低质量或不一致的数据。最终，利用高质量的伪标签数据训练ABSA模型。

关键创新：IDG的关键创新在于其迭代生成和自我反思过滤机制。迭代生成能够逐步提高生成数据的质量和多样性，而自我反思过滤则能够有效去除LLM产生的幻觉数据，保证生成数据的可靠性。这种结合使得IDG能够生成高质量的伪标签数据，从而显著提升ABSA模型的性能。与现有方法相比，IDG更侧重于利用LLM的内在能力，减少对人工标注数据的依赖。

关键设计：迭代数据生成机制的关键在于如何设计合适的prompt，引导LLM生成高质量的伪标签数据。自我反思数据过滤模块则需要设计合适的评估指标，例如情感一致性、语义流畅性等，来评估生成数据的质量。具体的参数设置和损失函数选择取决于所使用的LLM和ABSA模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IDG在四个广泛使用的ABSA基准测试中，相对于五个基线模型，均取得了显著的性能提升。更令人鼓舞的是，IDG生成的合成数据在某些情况下甚至超过了人工标注数据训练的模型性能。这表明IDG具有强大的数据生成能力和潜力。

🎯 应用场景

该研究成果可广泛应用于各种需要进行细粒度情感分析的场景，例如电商评论分析、舆情监控、金融风险评估等。通过生成高质量的伪标签数据，可以降低对人工标注数据的依赖，从而降低成本并提高效率。未来，该方法有望进一步扩展到其他自然语言处理任务中。

📄 摘要（原文）

Aspect-based Sentiment Analysis (ABSA) is an important sentiment analysis task, which aims to determine the sentiment polarity towards an aspect in a sentence. Due to the expensive and limited labeled data, data generation (DG) has become the standard for improving the performance of ABSA. However, current DG methods usually have some shortcomings: 1) poor fluency and coherence, 2) lack of diversity of generated data, and 3) reliance on some existing labeled data, hindering its applications in real-world scenarios. With the advancement of large language models (LLMs), LLM-based DG has the potential to solve the above issues. Unfortunately, directly prompting LLMs struggles to generate the desired pseudo-label ABSA data, as LLMs are prone to hallucinations, leading to undesired data generation. To this end, we propose a systematic Iterative Data Generation framework, namely IDG, to boost the performance of ABSA. The core of IDG is to make full use of the powerful abilities (i.e., instruction-following, in-context learning and self-reflection) of LLMs to iteratively generate more fluent and diverse pseudo-label data, starting from an unsupervised sentence corpus. Specifically, IDG designs a novel iterative data generation mechanism and a self-reflection data filtering module to tackle the challenges of unexpected data generation caused by hallucinations. Extensive experiments on four widely-used ABSA benchmarks show that IDG brings consistent and significant performance gains among five baseline ABSA models. More encouragingly, the synthetic data generated by IDG can achieve comparable or even better performance against the manually annotated data.