SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation

📄 arXiv: 2404.01923v1 📥 PDF

作者: Shasha Guo, Lizi Liao, Jing Zhang, Yanling Wang, Cuiping Li, Hong Chen

分类: cs.CL, cs.AI

发布日期: 2024-04-02

备注: Accepted by NAACL 2024 Findings

💡 一句话要点

提出SGSH框架以提升知识库问答生成的效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库问答生成 大型语言模型 骨架启发式 自然语言处理 自动化问题生成 语义知识

📋 核心要点

  1. 现有的知识库问答生成方法在有效利用大型语言模型的丰富知识方面存在挑战，导致生成问题的质量不高。
  2. 本研究提出SGSH框架，通过骨架启发式为输入提供细粒度指导，激励GPT-3.5生成更优质的问题。
  3. 实验结果显示，SGSH在KBQG任务上实现了新的最先进性能，显著提升了生成问题的质量和相关性。

📝 摘要（中文）

知识库问答生成（KBQG）旨在从知识库提取的三元组事实中生成自然语言问题。现有方法通过预训练语言模型（PLMs）显著提升了KBQG的性能。随着预训练技术的进步，大型语言模型（LLMs）如GPT-3.5拥有更丰富的语义知识。本研究提出SGSH框架，通过“骨架启发式”有效组织和利用这些知识，增强KBQG。该框架结合自动数据构建策略和软提示方法，训练专门生成骨架的BART模型，并将骨架启发式编码到提示中，以激励GPT-3.5生成理想问题。实验结果表明，SGSH在KBQG任务上达到了新的最先进性能。

🔬 方法详解

问题定义：本论文旨在解决知识库问答生成（KBQG）中如何有效利用大型语言模型（LLMs）丰富的语义知识的问题。现有方法在生成质量和相关性方面存在不足，未能充分发挥LLMs的潜力。

核心思路：论文提出的SGSH框架通过“骨架启发式”提供细粒度的指导，帮助LLMs生成更符合语义要求的问题。该设计旨在通过结构化提示来激励模型生成更优质的输出。

技术框架：SGSH框架主要包括三个阶段：首先，利用ChatGPT构建骨架训练数据集；其次，采用软提示方法训练BART模型生成与输入相关的骨架；最后，将骨架启发式编码到提示中，激励GPT-3.5生成所需问题。

关键创新：SGSH的主要创新在于引入“骨架启发式”，为每个输入提供更细致的生成指导。这一方法与现有的基于PLMs的生成方法相比，能够更好地利用LLMs的知识，提升生成问题的质量。

关键设计：在模型训练中，采用了软提示技术以优化生成效果，并设计了特定的损失函数以确保生成的骨架与输入的相关性。此外，BART模型的结构经过调整，以适应骨架生成的需求。

🖼️ 关键图片

fig_0

📊 实验亮点

SGSH在KBQG任务上实现了新的最先进性能，相较于基线模型，生成问题的质量提升了显著的百分比，具体性能数据表明在多个数据集上均取得了优异的结果，展示了该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育领域的自动化问题生成以及客户服务中的自动回复生成。通过提升问题生成的质量，SGSH框架能够为各类应用提供更准确和相关的用户交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge base question generation (KBQG) aims to generate natural language questions from a set of triplet facts extracted from KB. Existing methods have significantly boosted the performance of KBQG via pre-trained language models (PLMs) thanks to the richly endowed semantic knowledge. With the advance of pre-training techniques, large language models (LLMs) (e.g., GPT-3.5) undoubtedly possess much more semantic knowledge. Therefore, how to effectively organize and exploit the abundant knowledge for KBQG becomes the focus of our study. In this work, we propose SGSH--a simple and effective framework to Stimulate GPT-3.5 with Skeleton Heuristics to enhance KBQG. The framework incorporates "skeleton heuristics", which provides more fine-grained guidance associated with each input to stimulate LLMs to generate optimal questions, encompassing essential elements like the question phrase and the auxiliary verb.More specifically, we devise an automatic data construction strategy leveraging ChatGPT to construct a skeleton training dataset, based on which we employ a soft prompting approach to train a BART model dedicated to generating the skeleton associated with each input. Subsequently, skeleton heuristics are encoded into the prompt to incentivize GPT-3.5 to generate desired questions. Extensive experiments demonstrate that SGSH derives the new state-of-the-art performance on the KBQG tasks.