Efficient Tuning of Large Language Models for Knowledge-Grounded Dialogue Generation

📄 arXiv: 2504.07754v1 📥 PDF

作者: Bo Zhang, Hui Ma, Dailin Li, Jian Ding, Jian Wang, Bo Xu, HongFei Lin

分类: cs.CL

发布日期: 2025-04-10

备注: Accepted at TACL; pre-MIT Press publication version. Code and data are available at https://github.com/zhangbo-nlp/KEDiT

DOI: 10.1162/TACL.a.17

💡 一句话要点

KEDiT：一种高效微调大型语言模型用于知识驱动对话生成的方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识驱动对话生成 信息瓶颈 高效微调 知识感知适配器

📋 核心要点

  1. 大型语言模型缺乏利用训练数据之外的最新或领域特定知识的能力，限制了其在知识密集型任务中的应用。
  2. KEDiT通过信息瓶颈压缩检索到的知识，并使用轻量级适配器将其集成到LLM中，实现高效的知识融合。
  3. 实验表明，KEDiT在知识驱动对话生成任务上优于现有方法，尤其是在生成上下文相关和信息丰富的回复方面。

📝 摘要（中文）

大型语言模型（LLMs）展现了卓越的文本理解和生成能力，但通常缺乏利用最新或领域特定知识的能力，而这些知识并未包含在其训练数据中。为了解决这个问题，我们提出了一种名为KEDiT的高效方法，用于微调LLMs以进行知识驱动的对话生成。KEDiT主要分两个阶段运行：首先，它采用信息瓶颈来将检索到的知识压缩成可学习的参数，在保留必要信息的同时最大限度地减少计算开销。其次，一个轻量级的知识感知适配器在微调期间将这些压缩的知识向量集成到LLM中，仅更新不到2%的模型参数。在Wizard of Wikipedia和一个新构建的PubMed-Dialog数据集上的实验结果表明，KEDiT在生成上下文相关且信息丰富的响应方面表现出色，在自动评估、基于LLM的评估和人工评估中均优于具有竞争力的基线。这种方法有效地结合了预训练LLM的优势和适应动态知识所需的可适应性，为医学等领域提供了一个可扩展的解决方案。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）虽然在文本生成方面表现出色，但它们通常难以利用训练数据之外的最新或领域特定的知识。这限制了它们在需要专业知识的对话生成任务中的应用，例如医疗咨询。现有方法要么需要对整个LLM进行微调，计算成本高昂，要么知识融合效果不佳。

核心思路：KEDiT的核心思路是通过信息瓶颈（Information Bottleneck）方法压缩检索到的知识，提取关键信息，并使用轻量级的知识感知适配器（Knowledge-Aware Adapter）将这些压缩后的知识融入到LLM中。这种方法旨在在保留关键知识的同时，显著减少需要更新的参数量，从而实现高效的微调。

技术框架：KEDiT包含两个主要阶段：知识压缩阶段和知识融合阶段。在知识压缩阶段，首先从外部知识库检索相关知识，然后使用信息瓶颈方法将这些知识压缩成低维向量表示。在知识融合阶段，将压缩后的知识向量输入到轻量级的知识感知适配器中，适配器将这些知识向量与LLM的中间层特征进行融合，从而引导LLM生成知识驱动的对话回复。

关键创新：KEDiT的关键创新在于使用信息瓶颈来压缩知识，这使得模型能够专注于最重要的信息，并减少了计算开销。此外，轻量级适配器的设计使得KEDiT能够在只更新少量参数的情况下，有效地将知识融入到LLM中。与现有方法相比，KEDiT在效率和性能之间取得了更好的平衡。

关键设计：信息瓶颈通过最小化输入知识和压缩表示之间的互信息，同时最大化压缩表示和目标输出之间的互信息来实现。知识感知适配器通常由几个线性层和非线性激活函数组成，用于将压缩后的知识向量与LLM的隐藏状态进行融合。损失函数通常包括生成损失（例如，交叉熵损失）和知识对齐损失，以确保生成的回复既流畅又信息丰富。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Wizard of Wikipedia和PubMed-Dialog数据集上的实验结果表明，KEDiT在生成上下文相关且信息丰富的响应方面显著优于现有基线方法。具体来说，KEDiT在自动评估指标（如BLEU、ROUGE）以及基于LLM的评估和人工评估中均取得了显著提升。值得注意的是，KEDiT仅更新不到2%的模型参数，实现了高效的知识融合。

🎯 应用场景

KEDiT具有广泛的应用前景，尤其是在需要专业知识的对话系统中，例如医疗健康、金融咨询和教育辅导等领域。通过将KEDiT应用于这些领域，可以构建更加智能和可靠的对话系统，为用户提供更准确和个性化的服务。此外，KEDiT的高效性使其能够适应不断变化的知识环境，从而保持对话系统的时效性和准确性。

📄 摘要（原文）

Large language models (LLMs) demonstrate remarkable text comprehension and generation capabilities but often lack the ability to utilize up-to-date or domain-specific knowledge not included in their training data. To address this gap, we introduce KEDiT, an efficient method for fine-tuning LLMs for knowledge-grounded dialogue generation. KEDiT operates in two main phases: first, it employs an information bottleneck to compress retrieved knowledge into learnable parameters, retaining essential information while minimizing computational overhead. Second, a lightweight knowledge-aware adapter integrates these compressed knowledge vectors into the LLM during fine-tuning, updating less than 2\% of the model parameters. The experimental results on the Wizard of Wikipedia and a newly constructed PubMed-Dialog dataset demonstrate that KEDiT excels in generating contextually relevant and informative responses, outperforming competitive baselines in automatic, LLM-based, and human evaluations. This approach effectively combines the strengths of pretrained LLMs with the adaptability needed for incorporating dynamic knowledge, presenting a scalable solution for fields such as medicine.