Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model

📄 arXiv: 2407.03040v1 📥 PDF

作者: Xia Hou, Qifeng Li, Jian Yang, Tongliang Li, Linzheng Chai, Xianjie Wu, Hangyuan Ji, Zhoujun Li, Jixuan Nie, Jingbo Dun, Wenfeng Song

分类: cs.CL, cs.AI

发布日期: 2024-07-03

备注: 11 pages, 3 figures

💡 一句话要点

提出R2S框架，利用原始文本生成知识密集型多轮对话，提升大语言模型指令微调效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令微调 多轮对话 知识密集型 大语言模型 原始文本 对话逻辑链 R2S框架

📋 核心要点

  1. 现有指令微调方法在从原始文档生成季节性多轮对话方面仍有探索空间。
  2. R2S框架利用对话逻辑链指导LLMs生成知识密集型多轮对话，用于指令微调。
  3. 构建K-BENCH基准，涵盖维基百科、科学、文物等领域，并微调GLLM模型，提升指令微调效果。

📝 摘要（中文）

本文提出了一种名为R2S的新框架，该框架利用对话逻辑链（CoD-Chain of Dialogue logic）来指导大型语言模型（LLMs）生成知识密集型多轮对话，用于指令微调。通过将来自开源数据集和特定领域网络爬取的原始文档整合到K-BENCH基准中，覆盖了维基百科（英语）、科学（中文）和文物（中文）等多个领域。该方法首先确定当前对话的逻辑流程，然后提示LLMs生成关键短语，用于寻找相关的回复内容。这种方法能够创建G INSTRUCT指令数据集，在对话式交互中保留原始文档知识。利用该数据集，微调GLLM模型，该模型旨在将原始文档转换为结构化的多轮对话，从而将全面的领域知识注入到SFT模型中，以增强指令微调效果。这项工作标志着在改进LLMs在处理和生成更准确、上下文细致的跨领域响应方面的适应性和有效性方面迈出了一步。

🔬 方法详解

问题定义：现有指令微调方法缺乏有效利用原始文档生成知识密集型多轮对话的能力。直接使用原始文本进行指令微调，难以保证对话的连贯性和知识的准确性。因此，如何从原始文档中提取知识，并将其融入到自然流畅的多轮对话中，是一个亟待解决的问题。

核心思路：论文的核心思路是利用对话逻辑链（CoD）来指导LLMs生成多轮对话。通过预先确定对话的逻辑流程，可以更好地控制对话的走向，并确保对话的连贯性。同时，利用关键短语来检索相关文档内容，可以有效地将原始文档中的知识融入到对话中。

技术框架：R2S框架包含以下几个主要步骤：1) 对话逻辑确定：根据预设的对话目标，确定当前对话的逻辑流程。2) 关键短语生成：提示LLMs生成用于检索相关文档内容的关键短语。3) 文档内容检索：利用生成的关键短语，从原始文档中检索相关内容。4) 对话生成：将检索到的文档内容融入到对话中，生成当前轮的对话回复。5) 迭代：重复以上步骤，生成多轮对话。

关键创新：该方法最重要的创新点在于引入了对话逻辑链（CoD）的概念，并将其用于指导LLMs生成多轮对话。与传统的指令微调方法相比，该方法能够更好地控制对话的走向，并确保对话的连贯性和知识的准确性。此外，该方法还提出了一种利用关键短语检索相关文档内容的方法，有效地将原始文档中的知识融入到对话中。

关键设计：在对话逻辑确定阶段，需要预先定义一系列对话逻辑模板，例如“提问-回答”、“请求-响应”等。在关键短语生成阶段，可以使用不同的prompt策略来引导LLMs生成更准确的关键短语。在文档内容检索阶段，可以使用不同的检索算法来提高检索效率。在对话生成阶段，可以使用不同的生成模型来提高对话的流畅性和自然性。论文中GLLM模型的设计细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了K-BENCH基准，涵盖维基百科（英语）、科学（中文）和文物（中文）等多个领域。通过在该基准上进行实验，验证了R2S框架的有效性。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于智能客服、知识问答、教育辅导等领域。通过利用原始文档生成知识密集型多轮对话，可以提高LLMs在这些领域的应用效果，提供更准确、更自然的交互体验。未来，该方法还可以扩展到其他领域，例如医疗诊断、金融咨询等，为各行各业提供更智能化的服务。

📄 摘要（原文）

Instruction tuning as an effective technique aligns the outputs of large language models (LLMs) with human preference. But how to generate the seasonal multi-turn dialogues from raw documents for instruction tuning still requires further exploration. In this paper, we present a novel framework named R2S that leverages the CoD-Chain of Dialogue logic to guide large language models (LLMs) in generating knowledge-intensive multi-turn dialogues for instruction tuning. By integrating raw documents from both open-source datasets and domain-specific web-crawled documents into a benchmark K-BENCH, we cover diverse areas such as Wikipedia (English), Science (Chinese), and Artifacts (Chinese). Our approach first decides the logic flow of the current dialogue and then prompts LLMs to produce key phrases for sourcing relevant response content. This methodology enables the creation of the G I NSTRUCT instruction dataset, retaining raw document knowledge within dialoguestyle interactions. Utilizing this dataset, we fine-tune GLLM, a model designed to transform raw documents into structured multi-turn dialogues, thereby injecting comprehensive domain knowledge into the SFT model for enhanced instruction tuning. This work signifies a stride towards refining the adaptability and effectiveness of LLMs in processing and generating more accurate, contextually nuanced responses across various fields.