Schema Augmentation for Zero-Shot Domain Adaptation in Dialogue State Tracking

📄 arXiv: 2411.00150v2 📥 PDF

作者: Christopher Richardson, Roshan Sharma, Neeraj Gaur, Parisa Haghani, Anirudh Sundar, Bhuvana Ramabhadran

分类: cs.CL, cs.AI

发布日期: 2024-10-31 (更新: 2025-02-21)

备注: short paper (4 pages) submitted to ARR

💡 一句话要点

提出Schema Augmentation，提升零样本对话状态跟踪的领域泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话状态跟踪 零样本学习 领域自适应 数据增强 Schema Augmentation

📋 核心要点

  1. 现有零样本DST方法依赖提示工程，效果受限于提示设计和底层语言模型的零样本能力。
  2. Schema Augmentation通过在提示中引入槽位名称的变体，增强模型对未见领域的泛化能力。
  3. 实验表明，该方法在MultiWOZ和SpokenWOZ数据集上显著提升了零样本DST的准确率。

📝 摘要（中文）

本文针对面向任务型对话系统（TOD）中对话状态跟踪（DST）的零样本领域自适应问题，提出了一种新颖的数据增强方法，即Schema Augmentation，通过微调来提升语言模型的零样本领域自适应能力。Schema Augmentation是一种简单而有效的技术，它通过引入schema中槽位名称的变体来增强泛化能力。在MultiWOZ和SpokenWOZ上的实验表明，所提出的方法显著优于基线，在某些实验中，在未见领域上实现了超过两倍的准确率提升，同时在所有领域上保持了相等或更优的性能。

🔬 方法详解

问题定义：论文旨在解决对话状态跟踪（DST）中零样本领域自适应的难题。现有方法，特别是基于大型语言模型的方法，依赖于提示工程来引入目标领域的知识，但其性能高度依赖于提示的设计质量以及底层语言模型本身的零样本学习能力。这种依赖性使得模型在面对新的、未知的领域时，泛化能力受到限制。

核心思路：论文的核心思路是通过数据增强的方式，提升模型对槽位名称变化的鲁棒性，从而增强其在未见领域上的泛化能力。具体来说，通过在schema中引入槽位名称的各种变体，让模型学习到槽位名称与其语义之间的映射关系，从而减少对特定槽位名称的依赖。

技术框架：Schema Augmentation方法主要包含以下步骤：首先，获取对话数据集的schema信息，包括槽位名称和描述。然后，对槽位名称进行增强，生成不同的变体，例如使用同义词、缩写、拼写错误等。接下来，将增强后的schema信息与原始对话数据结合，生成新的训练数据。最后，使用这些增强后的数据对语言模型进行微调，使其能够更好地适应不同的槽位名称。

关键创新：该方法的核心创新在于其简单而有效的schema增强策略。与复杂的提示工程相比，Schema Augmentation提供了一种更加通用和可控的方式来提升模型的零样本领域自适应能力。它不依赖于特定的语言模型或领域知识，可以很容易地应用于不同的DST任务和数据集。

关键设计：Schema Augmentation的关键设计在于如何生成槽位名称的变体。论文中可能使用了多种方法，例如基于同义词词典、基于规则的转换、基于数据驱动的生成等。具体的技术细节（如使用的同义词词典、规则的具体内容、数据驱动模型的结构和训练方法）未知。此外，微调过程中的学习率、batch size、训练轮数等超参数设置也可能对最终性能产生影响。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Schema Augmentation方法在MultiWOZ和SpokenWOZ数据集上取得了显著的性能提升。在某些实验中，该方法在未见领域上实现了超过两倍的准确率提升，同时在所有领域上保持了相等或更优的性能。这些结果表明，Schema Augmentation是一种有效的零样本领域自适应方法。

🎯 应用场景

该研究成果可应用于各种面向任务的对话系统，尤其是在需要快速部署到新领域而缺乏领域内标注数据的场景下。例如，在智能客服、虚拟助手等应用中，可以利用Schema Augmentation技术，快速构建能够适应不同行业和业务需求的对话系统，降低开发成本，提升用户体验。

📄 摘要（原文）

Zero-shot domain adaptation for dialogue state tracking (DST) remains a challenging problem in task-oriented dialogue (TOD) systems, where models must generalize to target domains unseen at training time. Current large language model approaches for zero-shot domain adaptation rely on prompting to introduce knowledge pertaining to the target domains. However, their efficacy strongly depends on prompt engineering, as well as the zero-shot ability of the underlying language model. In this work, we devise a novel data augmentation approach, Schema Augmentation, that improves the zero-shot domain adaptation of language models through fine-tuning. Schema Augmentation is a simple but effective technique that enhances generalization by introducing variations of slot names within the schema provided in the prompt. Experiments on MultiWOZ and SpokenWOZ showed that the proposed approach resulted in a substantial improvement over the baseline, in some experiments achieving over a twofold accuracy gain over unseen domains while maintaining equal or superior performance over all domains.