Tuna: Instruction Tuning using Feedback from Large Language Models

📄 arXiv: 2310.13385v1 📥 PDF

作者: Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

分类: cs.CL, cs.LG

发布日期: 2023-10-20

备注: EMNLP 2023, code and data are available at https://github.com/microsoft/LMOps

🔗 代码/项目: GITHUB

💡 一句话要点

提出Tuna以解决指令调优模型响应多样性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 大型语言模型 概率排名 上下文排名 自然语言处理 模型优化 响应生成

📋 核心要点

  1. 现有的指令调优模型仅依赖单一响应，缺乏对更优响应的探索，导致模型性能受限。
  2. 论文提出了概率排名和上下文排名两种方法，旨在提升指令调优模型的响应质量和多样性。
  3. Tuna模型在Super Natural Instructions和LMentry等多个测试任务上表现优异，超越了多个强化学习基线模型。

📝 摘要（中文）

本论文提出了一种新的指令调优方法，利用更强大的大型语言模型（LLMs）如Instruct-GPT和GPT-4的反馈，来提升开源LLMs（如LLaMA）的响应质量。现有的指令调优模型仅依赖单一响应，缺乏对更优响应的了解。我们提出的概率排名和上下文排名方法，能够有效提高生成更优响应的可能性。实验结果表明，Tuna模型在多个测试任务上表现优异，超越了多个强基线模型。代码和数据已公开。

🔬 方法详解

问题定义：本论文旨在解决现有指令调优模型在响应多样性和质量上的不足，现有方法仅依赖单一响应，无法利用更优响应的信息。

核心思路：通过引入概率排名和上下文排名的方法，Tuna模型能够从更强大的教师模型中学习响应的相对质量，并利用上下文理解能力来优化自身的响应分布。

技术框架：Tuna模型的整体架构包括两个主要阶段：首先是通过概率排名继承教师模型的响应质量排名，其次是通过上下文排名优化自身的响应生成。

关键创新：最重要的创新在于将概率排名与上下文排名结合使用，形成了一种新的指令调优策略，这与传统方法的单一响应学习方式形成了显著区别。

关键设计：在模型训练中，采用了特定的损失函数来平衡概率排名和上下文排名的影响，同时在网络结构上进行了优化，以适应新的学习策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Super Natural Instructions的119个测试任务和LMentry的25个测试任务中，Tuna模型的表现显著优于多个强基线模型，展示了其在响应质量和多样性上的提升，具体性能数据未详述，但结果表明其具有较强的竞争力。

🎯 应用场景

Tuna模型在自然语言处理领域具有广泛的应用潜力，尤其是在需要高质量响应生成的任务中，如对话系统、问答系统和内容生成等。其提升的响应质量和多样性将有助于更好地满足用户需求，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Instruction tuning of open-source large language models (LLMs) like LLaMA, using direct outputs from more powerful LLMs such as Instruct-GPT and GPT-4, has proven to be a cost-effective way to align model behaviors with human preferences. However, the instruction-tuned model has only seen one response per instruction, lacking the knowledge of potentially better responses. In this paper, we propose finetuning an instruction-tuned LLM using our novel \textit{probabilistic ranking} and \textit{contextual ranking} approaches to increase the likelihood of generating better responses. Probabilistic ranking enables the instruction-tuned model to inherit the relative rankings of high-quality and low-quality responses from the teacher LLM. On the other hand, learning with contextual ranking allows the model to refine its own response distribution using the contextual understanding ability of stronger LLMs. Furthermore, we apply probabilistic ranking and contextual ranking sequentially to the instruction-tuned LLM. The resulting model, which we call \textbf{Tuna}, consistently improves the performance on Super Natural Instructions (119 test tasks), LMentry (25 test tasks), Vicuna QA, and can even obtain better results than several strong reinforcement learning baselines. Our code and data are available at \url{ https://github.com/microsoft/LMOps}.