ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction

📄 arXiv: 2310.12537v5 📥 PDF

作者: Alexander Brinkmann, Roee Shraga, Christian Bizer

分类: cs.CL

发布日期: 2023-10-19 (更新: 2024-09-20)

💡 一句话要点

提出ExtractGPT以解决电商产品属性值提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 产品属性提取 大型语言模型 电商数据处理 零-shot学习 少-shot学习 GPT-4 Llama-3-70B

📋 核心要点

  1. 现有的BERT基于方法在处理未见过的属性值时表现不佳，且需要大量的任务特定训练数据。
  2. 本文提出使用大型语言模型（LLMs）作为更高效的替代方案，并设计了适用于零-shot和少-shot场景的提示模板。
  3. 实验结果显示，GPT-4的平均F1-score达到85%，超越了最佳PLM基线5%，而微调GPT-3.5则提升了性能，但降低了对未见属性值的泛化能力。

📝 摘要（中文）

电商平台需要结构化的产品数据，以便提供基于属性的搜索和比较功能。然而，商家常常提供非结构化的产品描述，导致需要从中提取属性值对。现有基于BERT的方法需要大量特定任务的训练数据，并且在处理未见过的属性值时表现不佳。本文探讨了使用大型语言模型（LLMs）作为更高效且稳健的替代方案，提出了零-shot和少-shot场景下的提示模板，并比较了文本和基于JSON的目标模式表示。实验结果表明，GPT-4在使用详细属性描述和示例时，平均F1-score达85%，表现最佳，而Llama-3-70B则提供了一个竞争力的开源替代方案。

🔬 方法详解

问题定义：本文旨在解决电商平台中从非结构化产品描述中提取结构化属性值对的问题。现有的BERT方法在处理未见属性值时存在显著不足，且对训练数据的需求量大。

核心思路：论文提出利用大型语言模型（LLMs）作为替代方案，设计了适用于零-shot和少-shot场景的提示模板，以提高提取效率和鲁棒性。

技术框架：整体架构包括数据预处理、提示模板设计、模型选择（如GPT-4和Llama-3-70B）以及结果评估。主要模块包括属性描述的解析、模型的输入输出处理和F1-score的计算。

关键创新：最重要的技术创新在于使用大型语言模型进行属性值提取，特别是在零-shot和少-shot场景下的有效性，显著提高了提取的准确性和泛化能力。

关键设计：在模型选择上，使用了GPT-4和Llama-3-70B，并通过详细的属性描述和示例进行训练。损失函数和参数设置经过优化，以确保模型在不同场景下的表现。实验中，GPT-4的F1-score达85%，而微调的GPT-3.5则在性能上接近GPT-4，但泛化能力有所下降。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在使用详细属性描述和示例时，平均F1-score达到85%，超越了最佳PLM基线5%。Llama-3-70B作为开源替代方案，表现几乎相当，展示了其在属性值提取任务中的竞争力。

🎯 应用场景

该研究的潜在应用领域包括电商平台、在线市场和产品比较网站等，能够显著提升产品数据的结构化程度，从而改善用户体验和搜索效率。未来，该技术还可扩展至其他领域，如内容管理和信息提取等，具有广泛的实际价值和影响力。

📄 摘要（原文）

E-commerce platforms require structured product data in the form of attribute-value pairs to offer features such as faceted product search or attribute-based product comparison. However, vendors often provide unstructured product descriptions, necessitating the extraction of attribute-value pairs from these texts. BERT-based extraction methods require large amounts of task-specific training data and struggle with unseen attribute values. This paper explores using large language models (LLMs) as a more training-data efficient and robust alternative. We propose prompt templates for zero-shot and few-shot scenarios, comparing textual and JSON-based target schema representations. Our experiments show that GPT-4 achieves the highest average F1-score of 85% using detailed attribute descriptions and demonstrations. Llama-3-70B performs nearly as well, offering a competitive open-source alternative. GPT-4 surpasses the best PLM baseline by 5% in F1-score. Fine-tuning GPT-3.5 increases the performance to the level of GPT-4 but reduces the model's ability to generalize to unseen attribute values.