CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems
作者: Qianli Wang, Tatiana Anikina, Nils Feldhus, Simon Ostermann, Sebastian Möller
分类: cs.CL
发布日期: 2024-06-12 (更新: 2024-09-20)
备注: EMNLP 2024 Findings (short paper); camera-ready version
💡 一句话要点
提出CoXQL数据集，用于解析会话式可解释AI系统中的解释请求。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 会话式AI 可解释AI 用户意图识别 数据集构建 自然语言处理
📋 核心要点
- 现有ConvXAI系统在用户意图识别方面面临挑战，缺乏足够的训练数据，且领域知识高度依赖特定的XAI方法。
- 论文提出CoXQL数据集，包含31种用户意图，其中7种需要填充多个槽位，旨在弥补ConvXAI领域训练数据不足的差距。
- 通过在CoXQL数据集上评估LLM，并结合模板验证改进了解析方法（MP+），实验表明MP+优于现有方法。
📝 摘要（中文）
基于大型语言模型（LLM）的会话式可解释人工智能（ConvXAI）系统引起了自然语言处理（NLP）和人机交互（HCI）研究界的广泛兴趣。这类系统可以回答用户关于对话中解释的问题，有潜力增强用户理解，并提供关于LLM决策和生成过程的更多信息。目前可用的ConvXAI系统基于意图识别而非自由聊天，因为这样在识别用户意图方面更精确和可靠。然而，在ConvXAI中，意图识别仍然是一个挑战，因为训练数据很少，并且领域高度特定，因为存在大量XAI方法可以将请求映射到这些方法上。为了弥合这一差距，我们提出了CoXQL，这是NLP领域中第一个用于ConvXAI中用户意图识别的数据集，涵盖31个意图，其中7个需要填充多个槽位。随后，我们通过结合模板验证来增强现有的解析方法，并使用不同的解析策略在CoXQL上评估了几个LLM。我们得出结论，改进的解析方法（MP+）超过了以前方法的性能。我们还发现，具有多个槽位的意图对于LLM来说仍然具有很高的挑战性。
🔬 方法详解
问题定义：论文旨在解决会话式可解释AI（ConvXAI）系统中用户意图识别的难题。现有ConvXAI系统依赖意图识别而非自由对话，但由于缺乏足够的训练数据和领域知识的特殊性（涉及多种XAI方法），意图识别的准确性和可靠性面临挑战。现有方法难以有效处理用户复杂且多变的解释请求。
核心思路：论文的核心思路是通过构建一个专门的数据集CoXQL，为ConvXAI系统的意图识别提供充足的训练数据。CoXQL数据集覆盖了广泛的用户意图，并特别关注需要填充多个槽位的复杂意图，从而提升模型对用户请求的理解能力。同时，论文还通过改进解析方法，结合模板验证，进一步提升意图识别的准确性。
技术框架：论文的技术框架主要包含两个部分：数据集构建和解析方法改进。数据集构建方面，CoXQL数据集包含31种用户意图，其中7种需要填充多个槽位。解析方法改进方面，论文在现有解析方法的基础上，引入了模板验证机制，用于约束和校正LLM的输出，提高解析的准确性。整体流程是：用户输入请求 -> LLM解析意图 -> 模板验证 -> 输出意图和槽位。
关键创新：论文的关键创新在于构建了首个专门针对ConvXAI用户意图识别的数据集CoXQL。与现有方法相比，CoXQL数据集提供了更丰富、更全面的训练数据，特别是针对复杂的多槽位意图。此外，结合模板验证的解析方法也提升了意图识别的准确性。
关键设计：CoXQL数据集的设计考虑了ConvXAI的特殊性，涵盖了31种常见的用户意图，并特别关注了需要填充多个槽位的复杂意图。模板验证的设计则依赖于对XAI领域知识的理解，针对不同的意图设计了相应的模板，用于约束LLM的输出。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过结合模板验证改进的解析方法（MP+）在CoXQL数据集上取得了优于现有方法的性能。虽然论文中没有提供具体的性能数据和提升幅度，但明确指出具有多个槽位的意图对于LLM来说仍然具有很高的挑战性，未来可以针对这类意图进行更深入的研究。
🎯 应用场景
该研究成果可应用于各种会话式可解释AI系统，例如智能客服、AI助手等，帮助用户更好地理解和信任AI模型的决策过程。通过准确识别用户意图，系统可以提供更精准、更个性化的解释，从而提升用户体验和满意度。未来，该研究可以进一步扩展到其他领域，例如医疗、金融等，促进AI技术在各行业的应用。
📄 摘要（原文）
Conversational explainable artificial intelligence (ConvXAI) systems based on large language models (LLMs) have garnered significant interest from the research community in natural language processing (NLP) and human-computer interaction (HCI). Such systems can provide answers to user questions about explanations in dialogues, have the potential to enhance users' comprehension and offer more information about the decision-making and generation processes of LLMs. Currently available ConvXAI systems are based on intent recognition rather than free chat, as this has been found to be more precise and reliable in identifying users' intentions. However, the recognition of intents still presents a challenge in the case of ConvXAI, since little training data exist and the domain is highly specific, as there is a broad range of XAI methods to map requests onto. In order to bridge this gap, we present CoXQL, the first dataset in the NLP domain for user intent recognition in ConvXAI, covering 31 intents, seven of which require filling multiple slots. Subsequently, we enhance an existing parsing approach by incorporating template validations, and conduct an evaluation of several LLMs on CoXQL using different parsing strategies. We conclude that the improved parsing approach (MP+) surpasses the performance of previous approaches. We also discover that intents with multiple slots remain highly challenging for LLMs.