Making Large Language Models Better Knowledge Miners for Online Marketing with Progressive Prompting Augmentation

📄 arXiv: 2312.05276v2 📥 PDF

作者: Chunjing Gan, Dan Yang, Binbin Hu, Ziqi Liu, Yue Shen, Zhiqiang Zhang, Jinjie Gu, Jun Zhou, Guannan Zhang

分类: cs.AI, cs.LG

发布日期: 2023-12-08 (更新: 2025-04-02)

备注: Accepted by ICDE 2025, new version paper title: Effectively PAIRing LLMs with Online Marketing via Progressive Prompting Augmentation

💡 一句话要点

提出PAIR框架，利用渐进式Prompt增强LLM，提升在线营销知识挖掘效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识图谱 在线营销 Prompt工程 知识挖掘

📋 核心要点

  1. 现有方法在利用LLM构建营销知识图谱时，面临关系生成不可控、单Prompt能力不足和部署成本高等问题。
  2. PAIR框架通过渐进式Prompt增强，将关系生成转化为关系过滤，并利用自洽性和语义相关性进行实体扩展和聚合。
  3. 实验结果表明，PAIR及其轻量化版本LightPAIR在受众定向等任务中表现出色，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为PAIR的渐进式Prompt增强挖掘框架，旨在利用大型语言模型（LLM）更好地挖掘面向营销的知识图谱（MoKG）。该框架通过知识增强的Prompt技术，将纯粹的关系生成转化为基于LLM的自适应关系过滤过程。此外，通过渐进式Prompt增强引导LLM进行实体扩展，并通过综合考虑自洽性和语义相关性进行可靠的聚合。为了在线服务，本文还专门设计了一个小型且白盒的PAIR版本（LightPAIR），该版本通过强大的教师LLM提供的高质量语料库进行微调。在受众定向中的大量实验和实际应用验证了所提出的(Light)PAIR的有效性。

🔬 方法详解

问题定义：论文旨在解决在线营销场景下，如何高效利用大型语言模型（LLM）构建高质量的营销知识图谱（MoKG）的问题。现有方法存在三个主要痛点：一是LLM生成关系时不可控，容易产生噪声；二是单个Prompt的引导能力有限，难以充分挖掘知识；三是直接部署大型LLM成本过高，难以满足在线服务需求。

核心思路：论文的核心思路是通过渐进式Prompt增强（Progressive Prompting Augmentation）来引导LLM进行知识挖掘。具体来说，首先将关系生成任务转化为关系过滤任务，降低LLM的生成难度；然后，通过多轮Prompt迭代，逐步扩展实体集合；最后，通过自洽性和语义相关性对挖掘结果进行聚合，提高知识图谱的质量。

技术框架：PAIR框架包含三个主要阶段：1) 知识增强的关系过滤：利用知识库信息，设计Prompt，引导LLM对候选关系进行过滤，保留高质量的关系。2) 渐进式Prompt增强的实体扩展：通过多轮Prompt迭代，逐步扩展实体集合。每一轮Prompt都基于上一轮的结果进行优化，从而提高实体扩展的效率和准确性。3) 自洽性和语义相关性的聚合：对扩展的实体和关系进行聚合，综合考虑自洽性和语义相关性，去除冗余和错误的知识。此外，为了降低部署成本，论文还提出了LightPAIR，通过知识蒸馏将大型LLM的知识迁移到小型模型上。

关键创新：PAIR框架的关键创新在于：1) 将关系生成转化为关系过滤，降低了LLM的生成难度，提高了关系抽取的准确性。2) 提出渐进式Prompt增强策略，通过多轮Prompt迭代，逐步扩展实体集合，提高了知识挖掘的效率和覆盖率。3) 综合考虑自洽性和语义相关性，对挖掘结果进行聚合，提高了知识图谱的质量。

关键设计：在关系过滤阶段，论文设计了基于知识库信息的Prompt，引导LLM对候选关系进行打分。在实体扩展阶段，论文设计了多轮Prompt迭代策略，每一轮Prompt都基于上一轮的结果进行优化。在聚合阶段，论文设计了自洽性和语义相关性的计算方法，用于评估实体和关系的质量。LightPAIR通过微调小模型，使其能够模仿大型LLM的行为，从而降低部署成本。

📊 实验亮点

实验结果表明，PAIR框架在知识图谱构建任务中取得了显著的性能提升。与现有方法相比，PAIR能够更准确地抽取实体和关系，构建更高质量的营销知识图谱。LightPAIR在保持较高性能的同时，显著降低了部署成本，更适合在线服务。

🎯 应用场景

该研究成果可应用于在线广告、推荐系统、用户画像等领域。通过构建高质量的营销知识图谱，可以更精准地匹配用户需求和营销活动，提高营销效率和用户体验。未来，该方法可以扩展到其他领域的知识图谱构建，例如金融、医疗等。

📄 摘要（原文）

Nowadays, the rapid development of mobile economy has promoted the flourishing of online marketing campaigns, whose success greatly hinges on the efficient matching between user preferences and desired marketing campaigns where a well-established Marketing-oriented Knowledge Graph (dubbed as MoKG) could serve as the critical "bridge" for preference propagation. In this paper, we seek to carefully prompt a Large Language Model (LLM) with domain-level knowledge as a better marketing-oriented knowledge miner for marketing-oriented knowledge graph construction, which is however non-trivial, suffering from several inevitable issues in real-world marketing scenarios, i.e., uncontrollable relation generation of LLMs,insufficient prompting ability of a single prompt, the unaffordable deployment cost of LLMs. To this end, we propose PAIR, a novel Progressive prompting Augmented mIning fRamework for harvesting marketing-oriented knowledge graph with LLMs. In particular, we reduce the pure relation generation to an LLM based adaptive relation filtering process through the knowledge-empowered prompting technique. Next, we steer LLMs for entity expansion with progressive prompting augmentation,followed by a reliable aggregation with comprehensive consideration of both self-consistency and semantic relatedness. In terms of online serving, we specialize in a small and white-box PAIR (i.e.,LightPAIR),which is fine-tuned with a high-quality corpus provided by a strong teacher-LLM. Extensive experiments and practical applications in audience targeting verify the effectiveness of the proposed (Light)PAIR.