Prompting Large Language Models with Chain-of-Thought for Few-Shot Knowledge Base Question Generation

📄 arXiv: 2310.08395v3 📥 PDF

作者: Yuanyuan Liang, Jianing Wang, Hanlun Zhu, Lei Wang, Weining Qian, Yunshi Lan

分类: cs.CL, cs.AI

发布日期: 2023-10-12 (更新: 2023-10-23)

备注: Accepted by EMNLP 2023 main conference

💡 一句话要点

提出KQG-CoT方法以解决低资源场景下的知识库问答生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库问答生成 链式思维 少样本学习 自然语言处理 推理问题

📋 核心要点

  1. 现有的知识库问答生成方法过于依赖大量标注数据，导致在低资源场景下效果不佳。
  2. 本文提出的KQG-CoT方法通过链式思维提示，将复杂问题生成分解为多个子问题，提升了生成质量。
  3. 实验结果显示，KQG-CoT+方法在PathQuestions数据集上相较于现有方法在BLEU-4、METEOR和ROUGE-L上分别提升了18.25、10.72和10.18分。

📝 摘要（中文）

知识库问答生成（KBQG）任务旨在将逻辑形式转换为自然语言问题。由于大规模问题标注的高成本，低资源场景下的KBQG方法亟需发展。目前的方法过于依赖标注数据进行微调，不适合少量样本的问答生成。本文受到链式思维（CoT）提示的启发，将KBQG任务视为推理问题，通过生成一系列子问题来完成复杂问题的生成。我们提出的KQG-CoT方法首先从未标注数据池中检索支持的逻辑形式，并基于选定的示例编写提示以明确生成复杂问题的推理链。实验结果表明，KQG-CoT方法在多个公共KBQG数据集上表现优异，KQG-CoT+方法在PathQuestions数据集上超越现有少样本最优结果。

🔬 方法详解

问题定义：本文解决的具体问题是知识库问答生成（KBQG），现有方法在低资源场景下依赖大量标注数据，导致生成效果不理想。

核心思路：论文的核心思路是将KBQG任务视为推理问题，通过链式思维提示（CoT）将复杂问题的生成分解为多个子问题，从而提高生成的准确性和质量。

技术框架：整体架构包括两个主要模块：首先，从未标注数据池中检索支持的逻辑形式；其次，基于选定的示例生成推理链提示，确保生成过程的逻辑性和连贯性。

关键创新：最重要的技术创新点在于将KBQG任务转化为推理问题，并通过链式思维提示明确生成过程的逻辑链，与现有方法相比，显著提高了生成的质量和效率。

关键设计：在KQG-CoT+方法中，逻辑形式根据复杂性进行排序，以确保生成提示的质量，此外，采用了适当的损失函数和参数设置，以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KQG-CoT方法在多个公共数据集上表现优异，特别是KQG-CoT+方法在PathQuestions数据集上超越现有少样本最优结果，分别在BLEU-4、METEOR和ROUGE-L上提升了18.25、10.72和10.18分，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育领域的自动化题库生成以及信息检索等。通过提高知识库问答生成的效率和准确性，能够在实际应用中大幅降低人工标注成本，提升用户体验。未来，该方法有望推广至更广泛的自然语言处理任务中。

📄 摘要（原文）

The task of Question Generation over Knowledge Bases (KBQG) aims to convert a logical form into a natural language question. For the sake of expensive cost of large-scale question annotation, the methods of KBQG under low-resource scenarios urgently need to be developed. However, current methods heavily rely on annotated data for fine-tuning, which is not well-suited for few-shot question generation. The emergence of Large Language Models (LLMs) has shown their impressive generalization ability in few-shot tasks. Inspired by Chain-of-Thought (CoT) prompting, which is an in-context learning strategy for reasoning, we formulate KBQG task as a reasoning problem, where the generation of a complete question is splitted into a series of sub-question generation. Our proposed prompting method KQG-CoT first retrieves supportive logical forms from the unlabeled data pool taking account of the characteristics of the logical form. Then, we write a prompt to explicit the reasoning chain of generating complicated questions based on the selected demonstrations. To further ensure prompt quality, we extend KQG-CoT into KQG-CoT+ via sorting the logical forms by their complexity. We conduct extensive experiments over three public KBQG datasets. The results demonstrate that our prompting method consistently outperforms other prompting baselines on the evaluated datasets. Remarkably, our KQG-CoT+ method could surpass existing few-shot SoTA results of the PathQuestions dataset by 18.25, 10.72, and 10.18 absolute points on BLEU-4, METEOR, and ROUGE-L, respectively.