Interpretable and Robust Dialogue State Tracking via Natural Language Summarization with LLMs

📄 arXiv: 2503.08857v1 📥 PDF

作者: Rafael Carranza, Mateo Alejandro Rojas

分类: cs.CL

发布日期: 2025-03-11

💡 一句话要点

提出基于LLM的自然语言对话状态跟踪(NL-DST)，提升开放域对话的鲁棒性和可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话状态跟踪 自然语言生成 大型语言模型 开放域对话 鲁棒性 可解释性 任务型对话系统

📋 核心要点

  1. 传统DST方法在开放域对话和噪声输入下表现不佳，难以准确跟踪对话状态。
  2. NL-DST利用LLM直接生成人类可读的对话状态描述，避免了对槽-值对的依赖。
  3. 实验表明，NL-DST在多个数据集上显著优于现有基线，并具有更好的鲁棒性和可解释性。

📝 摘要（中文）

本文提出了一种新颖的对话状态跟踪（DST）方法，该方法利用大型语言模型（LLM）生成对话状态的自然语言描述，超越了传统的槽-值表示。传统的DST方法在开放域对话和噪声输入方面存在困难。受LLM生成能力的启发，我们的自然语言DST（NL-DST）框架训练LLM直接合成人类可读的状态描述。通过在MultiWOZ 2.1和Taskmaster-1数据集上的大量实验证明，NL-DST在联合目标准确率和槽准确率方面显著优于基于规则和基于判别式BERT的DST基线，以及生成式槽填充GPT-2 DST模型。消融研究和人工评估进一步验证了自然语言状态生成的有效性，突出了其对噪声的鲁棒性和增强的可解释性。我们的研究结果表明，NL-DST为对话状态跟踪提供了一种更灵活、准确和人类可理解的方法，为更鲁棒和适应性强的面向任务的对话系统铺平了道路。

🔬 方法详解

问题定义：论文旨在解决传统对话状态跟踪（DST）方法在开放域对话和噪声输入下表现不佳的问题。现有方法通常依赖于预定义的槽-值对，难以处理复杂和动态的对话场景，并且容易受到噪声的影响。

核心思路：论文的核心思路是利用大型语言模型（LLM）的生成能力，直接生成对话状态的自然语言描述。这种方法避免了对槽-值对的依赖，可以更灵活地处理各种对话场景，并且更容易理解和解释。

技术框架：NL-DST框架主要包含一个LLM，该LLM被训练以生成对话状态的自然语言描述。输入是对话历史，输出是对话状态的自然语言摘要。训练过程使用监督学习，目标是最小化生成摘要与人工标注摘要之间的差异。

关键创新：最重要的技术创新点是使用LLM直接生成对话状态的自然语言描述，而不是预测槽-值对。这种方法更具灵活性和可解释性，并且可以更好地处理开放域对话和噪声输入。与现有方法的本质区别在于，NL-DST将DST问题转化为一个自然语言生成问题。

关键设计：论文使用了预训练的LLM作为基础模型，并使用对话数据集进行微调。损失函数使用了交叉熵损失，用于衡量生成摘要与人工标注摘要之间的差异。在实验中，作者探索了不同的LLM架构和训练策略，并对模型的性能进行了评估。

📊 实验亮点

实验结果表明，NL-DST在MultiWOZ 2.1和Taskmaster-1数据集上显著优于现有基线。例如，在MultiWOZ 2.1数据集上，NL-DST在联合目标准确率方面比最佳基线提高了5%以上。消融研究和人工评估进一步验证了NL-DST的有效性和鲁棒性。

🎯 应用场景

NL-DST可应用于各种面向任务的对话系统，例如智能客服、虚拟助手和自动订票系统。通过提供更准确和可解释的对话状态跟踪，NL-DST可以提高对话系统的性能和用户体验，并支持更复杂的对话策略和决策。

📄 摘要（原文）

This paper introduces a novel approach to Dialogue State Tracking (DST) that leverages Large Language Models (LLMs) to generate natural language descriptions of dialogue states, moving beyond traditional slot-value representations. Conventional DST methods struggle with open-domain dialogues and noisy inputs. Motivated by the generative capabilities of LLMs, our Natural Language DST (NL-DST) framework trains an LLM to directly synthesize human-readable state descriptions. We demonstrate through extensive experiments on MultiWOZ 2.1 and Taskmaster-1 datasets that NL-DST significantly outperforms rule-based and discriminative BERT-based DST baselines, as well as generative slot-filling GPT-2 DST models, in both Joint Goal Accuracy and Slot Accuracy. Ablation studies and human evaluations further validate the effectiveness of natural language state generation, highlighting its robustness to noise and enhanced interpretability. Our findings suggest that NL-DST offers a more flexible, accurate, and human-understandable approach to dialogue state tracking, paving the way for more robust and adaptable task-oriented dialogue systems.