Intent Detection and Slot Filling for Home Assistants: Dataset and Analysis for Bangla and Sylheti

📄 arXiv: 2310.10935v1 📥 PDF

作者: Fardin Ahsan Sakib, A H M Rezaul Karim, Saadat Hasan Khan, Md Mushfiqur Rahman

分类: cs.CL, cs.LG

发布日期: 2023-10-17

备注: Accepted at the First Workshop on Bangla Language Processing, 2023

💡 一句话要点

提出针对孟加拉语和西尔赫提语的意图识别与槽位填充数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意图识别 槽位填充 低资源语言 孟加拉语 西尔赫提语 数据集构建 大型语言模型

📋 核心要点

  1. 现有语音助手在低资源语言的意图识别和槽位填充方面存在明显不足，尤其是口语形式的处理。
  2. 本研究提出了一个综合数据集，涵盖多种孟加拉语和西尔赫提语的意图与槽位信息，旨在提升模型的适应性。
  3. 实验结果显示，GPT-3.5在口语孟加拉语意图识别上取得了0.94的F1分数，槽位填充为0.51，表现优异。

📝 摘要（中文）

随着语音助手在技术先进社会中的普及，满足多样化语言需求显得尤为重要。本文首次引入了针对正式孟加拉语、口语孟加拉语和西尔赫提语的意图识别与槽位填充的综合数据集，共计984个样本，涵盖10种独特意图。分析表明，大型语言模型在数据不足的情况下仍能有效处理下游任务。GPT-3.5模型在口语孟加拉语的意图识别中取得了0.94的F1分数，而槽位填充则为0.51。

🔬 方法详解

问题定义：本研究旨在解决低资源语言（如孟加拉语和西尔赫提语）在意图识别和槽位填充任务中的数据不足问题。现有方法在处理这些语言的口语形式时效果不佳，缺乏足够的训练数据和模型适应性。

核心思路：论文通过构建一个包含多种意图和槽位的综合数据集，来提升大型语言模型在低资源语言上的表现。通过对不同语言形式的分析，提供了针对性的训练数据，旨在提高模型的准确性和鲁棒性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集涵盖了正式和口语形式的样本，模型训练使用了GPT-3.5，并通过标准评估指标进行性能测试。

关键创新：本研究的创新点在于首次引入了针对孟加拉语和西尔赫提语的意图识别与槽位填充数据集，填补了该领域的研究空白，并展示了大型语言模型在低资源语言任务中的潜力。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以优化意图识别和槽位填充的效果。通过对比实验，验证了不同语言形式对模型性能的影响。具体的网络结构和训练细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-3.5模型在口语孟加拉语的意图识别任务中取得了0.94的F1分数，而槽位填充任务的F1分数为0.51。这一结果显著高于现有基线，表明该方法在低资源语言处理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居助手、客户服务机器人和多语言交互系统等。通过提升低资源语言的意图识别与槽位填充能力，可以更好地服务于多样化的用户群体，促进技术的普及与应用。未来，该数据集和方法也可为其他低资源语言的研究提供参考。

📄 摘要（原文）

As voice assistants cement their place in our technologically advanced society, there remains a need to cater to the diverse linguistic landscape, including colloquial forms of low-resource languages. Our study introduces the first-ever comprehensive dataset for intent detection and slot filling in formal Bangla, colloquial Bangla, and Sylheti languages, totaling 984 samples across 10 unique intents. Our analysis reveals the robustness of large language models for tackling downstream tasks with inadequate data. The GPT-3.5 model achieves an impressive F1 score of 0.94 in intent detection and 0.51 in slot filling for colloquial Bangla.