NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling Social Norm Adherence and Violation

📄 arXiv: 2310.14563v2 📥 PDF

作者: Oliver Li, Mallika Subramanian, Arkadiy Saakyan, Sky CH-Wang, Smaranda Muresan

分类: cs.CL, cs.CY

发布日期: 2023-10-23 (更新: 2023-10-25)

备注: EMNLP 2023 Main Conference, Short Paper; Data at https://github.com/Aochong-Li/NormDial

💡 一句话要点

提出NormDial数据集以研究社会规范遵循与违反

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会规范 对话系统 双语数据集 人机协作 文化差异 语言模型 对话生成

📋 核心要点

  1. 现有对话系统在理解和生成符合社会规范的对话时存在不足，尤其是在跨文化背景下的表现较差。
  2. 论文提出了NormDial数据集，通过合成生成中英文对话，旨在检测社会规范的遵循与违反，填补这一领域的研究空白。
  3. 实验结果表明，生成的对话质量高，现有大型语言模型在该任务上的表现也得到了有效评估，指向未来研究的新方向。

📝 摘要（中文）

社会规范在个人间沟通中起着根本性作用。我们提出了NormDial，这是一个高质量的双向对话数据集，包含中美文化中社会规范遵循与违反的逐轮注释。该数据集通过人机协作的方式，利用小规模专家注释的社会规范提示大型语言模型，合成生成中英文对话。通过人类评估，我们展示了生成对话的高质量，并进一步评估了现有大型语言模型在该任务上的表现。我们的研究为理解跨语言和文化的对话中社会规范的细微差别指明了新的方向。

🔬 方法详解

问题定义：本论文旨在解决现有对话系统在跨文化背景下对社会规范的理解和生成能力不足的问题。现有方法缺乏针对社会规范遵循与违反的系统性研究，尤其是在双语环境中。

核心思路：论文提出的核心思路是利用人机协作的方式，通过提示大型语言模型生成符合社会规范的对话，从而构建一个高质量的双语对话数据集NormDial。这样的设计能够有效捕捉中美文化中社会规范的细微差别。

技术框架：整体架构包括数据收集、对话生成和评估三个主要模块。首先，通过专家注释的社会规范构建提示，然后利用大型语言模型生成对话，最后通过人类评估确保对话质量。

关键创新：最重要的技术创新点在于引入了社会规范观察检测任务，并通过合成生成的双语对话数据集为这一任务提供了基础。这与现有方法的本质区别在于关注文化背景下的社会规范。

关键设计：在数据生成过程中，采用了特定的参数设置和损失函数，以确保生成对话的质量和多样性。同时，网络结构设计上结合了大型语言模型的优势，提升了生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，生成的对话在质量上得到了人类评估的认可，且现有大型语言模型在社会规范遵循检测任务上的表现得到了有效评估。具体性能数据尚未披露，但研究指向了新的研究方向和潜在的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括跨文化对话系统、社交机器人以及人机交互设计等。通过深入理解社会规范的遵循与违反，能够提升对话系统的自然性和人性化，增强用户体验。未来，该研究可能影响社会科学、心理学和计算机科学等多个领域的交叉研究。

📄 摘要（原文）

Social norms fundamentally shape interpersonal communication. We present NormDial, a high-quality dyadic dialogue dataset with turn-by-turn annotations of social norm adherences and violations for Chinese and American cultures. Introducing the task of social norm observance detection, our dataset is synthetically generated in both Chinese and English using a human-in-the-loop pipeline by prompting large language models with a small collection of expert-annotated social norms. We show that our generated dialogues are of high quality through human evaluation and further evaluate the performance of existing large language models on this task. Our findings point towards new directions for understanding the nuances of social norms as they manifest in conversational contexts that span across languages and cultures.