CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues

📄 arXiv: 2412.07515v1 📥 PDF

作者: Sebastian Steindl, Ulrich Schäfer, Bernd Ludwig

分类: cs.CL

发布日期: 2024-12-10

备注: Accepted at COLING 2025 (main, long paper)

💡 一句话要点

CoPrUS：通过保持一致性的语句合成，生成更真实的基准对话数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 数据增强 大型语言模型 通信错误 MultiWOZ 自然语言处理 语句合成

📋 核心要点

  1. 现有对话数据集缺乏真实世界中常见的通信错误，限制了对话系统在实际场景中的泛化能力。
  2. 提出一种两步法，利用大型语言模型自动生成并修复对话中的误解、不理解和模糊问题。
  3. 通过语言模型评估和人工评估验证了生成语句的质量，并发布了包含近1900个修改对话的CoPrUS-MultiWOZ数据集。

📝 摘要（中文）

大规模Wizard-Of-Oz对话数据集推动了基于深度学习的对话系统的训练。虽然它们作为基准数据集很成功，但缺乏某些类型的语句，这使得它们不够真实。本文研究了在自动流程中创建合成通信错误。基于语言学理论，我们提出并遵循一个简单的错误分类法。我们关注三种在真实对话中可能发生但在基准数据集中代表性不足的误解：不理解、非理解和模糊相关的问题。我们的两步方法使用最先进的大型语言模型（LLM）首先创建错误，然后创建修复语句。我们执行基于语言模型的评估，以确保生成的语句的质量。我们将该方法应用于MultiWOZ数据集，并对其进行定性和经验评估以及人工评估。结果表明，当前的LLM可以帮助向基准数据集添加事后误解，作为一种数据增强形式。我们将由此产生的数据集（其中近1900个对话已被修改）发布为CoPrUS-MultiWOZ，以促进未来对对话系统的研究。

🔬 方法详解

问题定义：现有的大规模对话数据集，如MultiWOZ，虽然在训练深度学习对话系统方面取得了成功，但它们在很大程度上忽略了真实对话中常见的通信错误，例如误解、不理解和模糊相关的问题。这些缺失使得训练出的对话系统在实际应用中可能表现不佳，因为它们没有经过充分的错误处理训练。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大生成能力，自动地向现有的对话数据集中注入这些缺失的通信错误。通过在数据集中引入这些错误，并同时生成相应的修复语句，可以有效地增强数据集的真实性，并提高对话系统在面对真实世界复杂对话时的鲁棒性。

技术框架：该方法采用两步流程。第一步，利用LLM生成包含通信错误的语句，这些错误包括误解、不理解和模糊相关的问题。第二步，再次利用LLM生成修复语句，以回应第一步中引入的错误。整个流程旨在模拟真实对话中错误发生和修复的过程。

关键创新：该方法的关键创新在于利用LLM自动生成并修复对话中的通信错误，从而实现对话数据集的自动增强。与以往手动标注或规则生成错误的方法相比，该方法具有更高的效率和可扩展性。此外，该方法基于语言学理论，对通信错误进行了分类，并针对不同类型的错误设计了相应的生成策略。

关键设计：该方法使用了最先进的LLM（具体模型未知，论文中称为“state-of-the-art Large Language Model”）。为了确保生成语句的质量，论文采用了基于语言模型的评估方法。具体的评估指标和LLM的参数设置在论文中未详细说明，属于未知信息。此外，论文还进行了人工评估，以进一步验证生成语句的真实性和合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究成功地利用大型语言模型自动生成并修复了对话中的通信错误，并将该方法应用于MultiWOZ数据集，创建了CoPrUS-MultiWOZ数据集，其中近1900个对话被修改。人工评估表明，生成的语句具有较高的质量，能够有效地增强数据集的真实性。

🎯 应用场景

该研究成果可应用于对话系统的训练数据增强，提高对话系统在真实场景下的鲁棒性和用户体验。通过引入更多样化的对话场景，可以提升对话系统在处理复杂和不确定性对话方面的能力。此外，该方法也为其他自然语言处理任务的数据增强提供了新的思路。

📄 摘要（原文）

Large-scale Wizard-Of-Oz dialogue datasets have enabled the training of deep learning-based dialogue systems. While they are successful as benchmark datasets, they lack certain types of utterances, which would make them more realistic. In this work, we investigate the creation of synthetic communication errors in an automatic pipeline. Based on linguistic theory, we propose and follow a simple error taxonomy. We focus on three types of miscommunications that could happen in real-world dialogues but are underrepresented in the benchmark dataset: misunderstandings, non-understandings and vaguely related questions. Our two-step approach uses a state-of-the-art Large Language Model (LLM) to first create the error and secondly the repairing utterance. We perform Language Model-based evaluation to ensure the quality of the generated utterances. We apply the method to the MultiWOZ dataset and evaluate it both qualitatively and empirically as well as with human judges. Our results indicate that current LLMs can aid in adding post-hoc miscommunications to benchmark datasets as a form of data augmentation. We publish the resulting dataset, in which nearly 1900 dialogues have been modified, as CoPrUS-MultiWOZ to facilitate future work on dialogue systems.