BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation

📄 arXiv: 2310.17054v1 📥 PDF

作者: Yufei Tian, Felix Zhang, Nanyun Peng

分类: cs.CL, cs.LG

发布日期: 2023-10-25

备注: EMNLP 2023

💡 一句话要点

提出BOOST框架以提升语言模型的常识生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 常识推理 无参考评估 生成模型 计算效率 动态知识库

📋 核心要点

  1. 现有大型语言模型在生成文本时，常常缺乏必要的常识，导致输出不够合理。
  2. 本文提出了一种新颖的框架，通过构建无参考评估器和引导固定的PTLM，提升生成文本的常识性。
  3. 实验结果显示，该方法在GPT-2、Flan-T5和Alpaca等模型上均显著提高了常识生成的质量。

📝 摘要（中文）

大型语言模型（LLMs）如GPT-3在生成连贯且上下文相关的文本方面表现出色，但其生成的输出有时缺乏常识。针对这一问题，本文提出了一种计算高效的框架，通过引导冻结的预训练语言模型（PTLM）生成更具常识性的文本。具体而言，我们构建了一个无参考评估器，根据动态常识知识库从四个不同的关系方面为句子分配常识分数，并将其作为常识知识的oracle，利用NADO方法训练辅助头，以更好地满足oracle的要求。实验结果表明，该方法在多个语言模型上均能生成更具常识性的输出。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本时常识缺乏的问题。现有方法通常需要对整个模型进行微调，计算成本高且难以实现。

核心思路：提出了一种计算高效的框架，通过构建无参考评估器为生成的句子打分，并利用该评分作为oracle，引导固定的PTLM生成更具常识性的文本。

技术框架：整体框架包括两个主要模块：无参考评估器和辅助头训练。无参考评估器从动态常识知识库中提取信息，为生成的句子分配常识分数；辅助头则通过NADO方法进行训练，以优化PTLM的输出。

关键创新：最重要的创新在于构建了一个动态的无参考评估器，使得模型在不进行微调的情况下，能够有效地生成符合常识的文本。这一方法与传统的微调方法本质上不同，避免了高昂的计算成本。

关键设计：在设计中，评估器的构建依赖于四个不同的关系方面，确保评分的全面性；辅助头的训练则采用了特定的损失函数，以最大化与oracle的匹配度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用BOOST框架的模型在常识生成任务上表现优异，相较于基线模型，生成的文本在常识性评分上提升了显著的百分比，且在多个基准测试中均表现出一致的优势。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、内容生成和教育辅助工具等。通过提升语言模型的常识生成能力，可以显著改善人机交互的自然性和有效性，具有广泛的实际价值和深远的未来影响。

📄 摘要（原文）

Large language models (LLMs) such as GPT-3 have demonstrated a strong capability to generate coherent and contextually relevant text. However, amidst their successes, a crucial issue persists: their generated outputs still lack commonsense at times. Moreover, fine-tuning the entire LLM towards more commonsensical outputs is computationally expensive if not infeasible. In this paper, we present a computation-efficient framework that steers a frozen Pre-Trained Language Model (PTLM) towards more commonsensical generation (i.e., producing a plausible output that incorporates a list of concepts in a meaningful way). Specifically, we first construct a reference-free evaluator that assigns a sentence with a commonsensical score by grounding the sentence to a dynamic commonsense knowledge base from four different relational aspects. We then use the scorer as the oracle for commonsense knowledge, and extend the controllable generation method called NADO to train an auxiliary head that guides a fixed PTLM to better satisfy the oracle. We test our framework on a series of GPT-2-, Flan-T5-, and Alpaca-based language models (LMs) on two constrained concept-to-sentence benchmarks. Human evaluation results demonstrate that our method consistently leads to the most commonsensical outputs.