Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues

📄 arXiv: 2410.03049v1 📥 PDF

作者: Shilin Qu, Weiqing Wang, Xin Zhou, Haolan Zhan, Zhuang Li, Lizhen Qu, Linhao Luo, Yuan-Fang Li, Gholamreza Haffari

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2024-10-04

备注: 17 pages

期刊: TOMM 2024

💡 一句话要点

提出一种可扩展的框架，利用大型语言模型构建用于社交对话的社会文化规范库。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会文化规范 大型语言模型 社交对话 上下文框架 知识库构建

📋 核心要点

  1. 现有方法缺乏有效构建大规模社会文化规范库的能力，难以支持社交对话中的情境理解和行为引导。
  2. 利用大型语言模型，结合上下文框架信息，从社交对话中提取高质量的社会文化规范，减少幻觉问题。
  3. 实验证明，从合成数据提取的规范质量与真实数据相当，且结合框架标注能显著提升规范提取质量，并应用于下游任务。

📝 摘要（中文）

本文提出了一种可扩展的方法，利用大型语言模型（LLMs）构建用于社交对话的社会文化规范（SCN）库。我们构建了一个全面且公开可用的中文社会文化规范库。该方法利用富含上下文框架的社交对话作为主要数据源，以约束生成过程并减少幻觉。这使得能够提取高质量且细致的自然语言规范陈述，从而利用话语在特定情境下的语用含义。由于缺乏带有黄金标准框架标注的真实对话数据，我们提出使用合成数据。实验结果表明：（i）从合成数据中获得的SCN质量与从带有黄金标准框架标注的真实对话中获得的SCN质量相当；（ii）从带有银牌（预测）或金牌框架标注的真实数据中提取的SCN质量超过了没有框架标注的情况。我们进一步展示了提取的SCN在基于RAG（检索增强生成）的模型中推理多个下游对话任务的有效性。

🔬 方法详解

问题定义：论文旨在解决缺乏大规模、高质量的社会文化规范库的问题，现有方法难以有效利用对话情境信息，导致提取的规范质量不高，且容易产生幻觉。这限制了社交对话系统在理解和生成符合社会规范的回复方面的能力。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大生成能力，结合对话的上下文框架信息，自动构建社会文化规范库。通过上下文框架的约束，可以减少LLM的幻觉问题，并提取更准确、更细致的规范陈述。

技术框架：整体框架包括以下几个主要阶段：1) 数据准备：收集或生成社交对话数据，并标注或预测对话的上下文框架；2) 规范提取：利用LLM，以对话和上下文框架作为输入，生成相应的社会文化规范；3) 规范评估：对生成的规范进行质量评估，并进行过滤和优化；4) 应用：将构建的规范库应用于下游对话任务，如检索增强生成（RAG）。

关键创新：论文的关键创新在于：1) 提出了一种可扩展的、基于框架的社会文化规范构建方法，能够有效利用对话的上下文信息；2) 验证了使用合成数据构建规范库的可行性，缓解了真实标注数据稀缺的问题；3) 证明了结合框架标注能够显著提升规范提取的质量。

关键设计：论文的关键设计包括：1) 上下文框架的设计，用于描述对话的情境信息，如参与者、目标、关系等；2) LLM的prompt设计，用于引导LLM生成符合要求的规范陈述；3) 规范质量评估指标的设计，用于衡量生成规范的准确性、相关性和完整性；4) RAG模型的集成，用于验证规范库在下游任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，从合成数据中提取的社会文化规范质量与从真实数据中提取的规范质量相当，验证了使用合成数据构建规范库的可行性。此外，结合框架标注能够显著提升规范提取的质量，并在RAG模型中取得了更好的下游任务性能，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于社交对话系统、智能客服、教育机器人等领域，提升系统在社交互动中的情境理解能力和行为规范性。构建的社会文化规范库可以作为知识库，辅助系统生成更符合社会规范、更具同理心的回复，从而改善用户体验，并促进人机之间的信任。

📄 摘要（原文）

Sociocultural norms serve as guiding principles for personal conduct in social interactions, emphasizing respect, cooperation, and appropriate behavior, which is able to benefit tasks including conversational information retrieval, contextual information retrieval and retrieval-enhanced machine learning. We propose a scalable approach for constructing a Sociocultural Norm (SCN) Base using Large Language Models (LLMs) for socially aware dialogues. We construct a comprehensive and publicly accessible Chinese Sociocultural NormBase. Our approach utilizes socially aware dialogues, enriched with contextual frames, as the primary data source to constrain the generating process and reduce the hallucinations. This enables extracting of high-quality and nuanced natural-language norm statements, leveraging the pragmatic implications of utterances with respect to the situation. As real dialogue annotated with gold frames are not readily available, we propose using synthetic data. Our empirical results show: (i) the quality of the SCNs derived from synthetic data is comparable to that from real dialogues annotated with gold frames, and (ii) the quality of the SCNs extracted from real data, annotated with either silver (predicted) or gold frames, surpasses that without the frame annotations. We further show the effectiveness of the extracted SCNs in a RAG-based (Retrieval-Augmented Generation) model to reason about multiple downstream dialogue tasks.