Synergizing In-context Learning with Hints for End-to-end Task-oriented Dialog Systems

📄 arXiv: 2405.15585v3 📥 PDF

作者: Vishal Vivek Saley, Rocktim Jyoti Das, Dinesh Raghu, Mausam

分类: cs.CL

发布日期: 2024-05-24 (更新: 2024-10-18)

备注: EMNLP2024 Camera-Ready Version

💡 一句话要点

SyncTOD：结合上下文学习与提示，提升端到端任务型对话系统在低数据下的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务型对话系统 上下文学习 提示学习 低资源学习 大型语言模型

📋 核心要点

  1. 现有端到端任务型对话系统依赖大量数据，而大型语言模型虽有潜力，但响应风格与训练数据不一致。
  2. SyncTOD通过结合LLM与任务特定提示，利用小型辅助模型生成提示并选择示例，提升低数据场景下的对齐性。
  3. 实验表明，SyncTOD在低数据环境下优于现有基线模型，并在全数据环境下保持竞争力，验证了其有效性。

📝 摘要（中文）

端到端任务型对话（TOD）系统通常需要大量的训练数据集才能表现良好。相比之下，基于大型语言模型（LLM）的TOD系统即使在数据有限的情况下也能表现出色，这归功于它们通过上下文示例学习任务的能力。然而，这些模型与训练数据中的响应风格不一致，并且经常生成全面的响应，使得用户难以快速掌握信息。为了解决这个问题，我们提出了SyncTOD，它将LLM与特定任务的提示相结合，以提高在低数据设置中的对齐性。SyncTOD采用小型辅助模型来提供提示并选择上下文提示的示例。在使用ChatGPT时，SyncTOD在低数据设置中实现了优于基于LLM的基线模型和SoTA模型的性能，同时在全数据设置中保持了具有竞争力的性能。

🔬 方法详解

问题定义：论文旨在解决端到端任务型对话系统中，大型语言模型在低数据环境下，生成响应的风格与训练数据不一致，且信息冗余的问题。现有方法要么需要大量数据，要么难以控制生成响应的风格和信息密度，导致用户体验不佳。

核心思路：论文的核心思路是利用小型辅助模型生成任务相关的提示（hints），并结合上下文学习（in-context learning）的方式，引导大型语言模型生成更符合训练数据风格，且信息更精炼的响应。通过提示和示例选择，使LLM更好地适应特定任务和数据分布。

技术框架：SyncTOD框架主要包含以下几个模块：1) 提示生成器：使用小型模型（如预训练语言模型微调）生成与当前对话状态相关的提示信息。2) 示例选择器：根据当前对话状态，从训练集中选择合适的示例，用于构建上下文学习的prompt。3) 大型语言模型：接收包含提示信息和示例的prompt，生成最终的对话响应。整体流程是，给定一个对话状态，提示生成器生成提示，示例选择器选择示例，然后将提示和示例组合成prompt，输入到大型语言模型中，得到最终的响应。

关键创新：论文的关键创新在于将任务特定的提示信息与上下文学习相结合，有效地引导大型语言模型生成更符合任务需求和数据风格的响应。与直接使用大型语言模型或仅依赖上下文学习的方法相比，SyncTOD能够更好地利用少量数据，并控制生成响应的风格和信息密度。

关键设计：提示生成器可以使用小型预训练语言模型进行微调，损失函数可以是交叉熵损失或序列生成损失。示例选择器可以使用基于相似度的检索方法，例如计算对话状态的向量表示，然后选择与当前状态最相似的示例。Prompt的构建方式是将提示信息和示例拼接在一起，然后输入到大型语言模型中。关键参数包括提示生成器的大小、示例选择器的相似度度量方式、以及Prompt中提示信息和示例的相对位置和权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在低数据设置下，SyncTOD在使用ChatGPT作为LLM时，显著优于现有的基于LLM的基线模型和SoTA模型。具体来说，SyncTOD在对话成功率、信息请求准确率等方面均取得了显著提升。同时，在全数据设置下，SyncTOD也保持了具有竞争力的性能，证明了其在不同数据规模下的有效性。

🎯 应用场景

SyncTOD可应用于各种任务型对话系统，例如订票系统、客服机器人、智能助手等。该方法尤其适用于数据稀缺的场景，能够快速构建高质量的对话系统。未来，可以将SyncTOD扩展到多轮对话、多领域对话等更复杂的场景，并探索更有效的提示生成和示例选择方法。

📄 摘要（原文）

End-to-end Task-Oriented Dialog (TOD) systems typically require extensive training datasets to perform well. In contrast, large language model (LLM) based TOD systems can excel even with limited data due to their ability to learn tasks through in-context exemplars. However, these models lack alignment with the style of responses in training data and often generate comprehensive responses, making it difficult for users to grasp the information quickly. In response, we propose SyncTOD that synergizes LLMs with task-specific hints to improve alignment in low-data settings. SyncTOD employs small auxiliary models to provide hints and select exemplars for in-context prompts. With ChatGPT, SyncTOD achieves superior performance compared to LLM-based baselines and SoTA models in low-data settings, while retaining competitive performance in full-data settings.