Commonsense Generation and Evaluation for Dialogue Systems using Large Language Models

📄 arXiv: 2506.19483v1 📥 PDF

作者: Marcos Estecha-Garitagoitia, Chen Zhang, Mario Rodríguez-Cantelar, Luis Fernando D'Haro

分类: cs.CL

发布日期: 2025-06-24

💡 一句话要点

利用大型语言模型进行对话系统的常识生成与评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 常识推理 数据增强 大型语言模型 自动评估 自然语言处理 生成模型

📋 核心要点

  1. 现有对话系统在生成上下文相关的常识知识方面存在不足，难以有效增强对话数据。
  2. 本文提出了一种基于大型语言模型的回合级数据增强方法，利用常识关系生成合成对话。
  3. 实验结果表明，该方法在生成合成对话的质量上具有显著提升，展示了LLMs的有效性。

📝 摘要（中文）

本文提供了关于基于不同类型常识关系进行对话系统回合级数据增强的初步结果，并对生成的合成回合进行自动评估。所提出的方法利用预训练的大型语言模型（LLMs）的扩展知识和零样本能力，能够理解上下文信息及其常识推理能力。该方法受到链式思维（CoT）方法的启发，明确应用于基于提示的生成任务，以常识属性为条件进行对话数据增强，并自动评估生成的对话。通过从五个知名对话数据集中随机提取200个部分对话，生成基于不同事件常识属性的替代响应，构建了一个新数据集，以测量LLMs在生成上下文相关的常识知识方面的能力。初步结果表明，该方法有效利用了LLMs在对话系统中的常识推理和评估能力。

🔬 方法详解

问题定义：本文旨在解决对话系统生成上下文相关常识知识的不足，现有方法在数据增强方面效果有限，难以满足实际应用需求。

核心思路：论文提出利用大型语言模型的常识推理能力，通过条件生成不同常识属性的对话回合，从而实现数据增强。该设计旨在提高生成对话的上下文相关性和自然性。

技术框架：整体架构包括数据集构建、常识属性条件生成和自动评估三个主要模块。首先，从多个对话数据集中提取部分对话，然后基于常识属性生成替代响应，最后使用评估框架检测生成数据的质量。

关键创新：最重要的创新点在于提出了一种基于指令的提示生成方法，替代了复杂的事件关系元组提取过程，使得生成过程更为高效和灵活。

关键设计：在参数设置上，采用了针对每个常识属性的指令提示，利用最先进的LLMs进行生成和评估，确保生成的对话回合能够准确反映所需的常识关系。

📊 实验亮点

实验结果显示，所提出的方法在生成合成对话的质量上显著优于传统方法，尤其是在生成与上下文相关的常识知识方面，展现了LLMs的强大能力。具体性能数据尚未披露，需进一步验证。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话机器人和教育辅导等场景，能够有效提升对话系统的交互质量和用户体验。未来，该方法有望在更广泛的对话系统中推广应用，推动自然语言处理领域的发展。

📄 摘要（原文）

This paper provides preliminary results on exploring the task of performing turn-level data augmentation for dialogue system based on different types of commonsense relationships, and the automatic evaluation of the generated synthetic turns. The proposed methodology takes advantage of the extended knowledge and zero-shot capabilities of pretrained Large Language Models (LLMs) to follow instructions, understand contextual information, and their commonsense reasoning capabilities. The approach draws inspiration from methodologies like Chain-of-Thought (CoT), applied more explicitly to the task of prompt-based generation for dialogue-based data augmentation conditioned on commonsense attributes, and the automatic evaluation of the generated dialogues. To assess the effectiveness of the proposed approach, first we extracted 200 randomly selected partial dialogues, from 5 different well-known dialogue datasets, and generate alternative responses conditioned on different event commonsense attributes. This novel dataset allows us to measure the proficiency of LLMs in generating contextually relevant commonsense knowledge, particularly up to 12 different specific ATOMIC [10] database relations. Secondly, we propose an evaluation framework to automatically detect the quality of the generated dataset inspired by the ACCENT [26] metric, which offers a nuanced approach to assess event commonsense. However, our method does not follow ACCENT's complex eventrelation tuple extraction process. Instead, we propose an instruction-based prompt for each commonsense attribute and use state-of-the-art LLMs to automatically detect the original attributes used when creating each augmented turn in the previous step. Preliminary results suggest that our approach effectively harnesses LLMs capabilities for commonsense reasoning and evaluation in dialogue systems.