Why Do We Laugh? Annotation and Taxonomy Generation for Laughable Contexts in Spontaneous Text Conversation

📄 arXiv: 2501.16635v2 📥 PDF

作者: Koji Inoue, Mikey Elmers, Divesh Lala, Tatsuya Kawahara

分类: cs.CL, cs.AI

发布日期: 2025-01-28 (更新: 2025-03-18)

备注: This paper has been accepted for presentation at International Workshop on Spoken Dialogue Systems Technology 2025 (IWSDS 2025) and represents the author's version of the work

💡 一句话要点

提出一种基于LLM辅助的笑点分类方法，用于提升对话AI的自然交互能力。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 对话AI 笑点识别 自然语言处理 大型语言模型 文本分类

📋 核心要点

  1. 对话AI难以识别对话中的笑点，阻碍了自然流畅的人机交互。
  2. 利用LLM生成笑点解释，并构建包含十个类别的笑点分类体系。
  3. GPT-4o在识别笑点多数标签的任务中，F1值达到43.14%，验证了方法有效性。

📝 摘要（中文）

本研究旨在解决对话AI系统中识别对话中笑点这一难题。通过对日语自发文本对话数据进行标注，构建了一个笑点分类体系，用于分析笑点产生的潜在原因。首先，多名标注者手动标注了可笑语境，判断其是否属于笑点。然后，利用大型语言模型（LLM）生成对笑点标注的解释，并将其归类为包含“共情与亲和”和“幽默与惊喜”等十个类别的分类体系，突出了引发笑声的各种场景。该研究还评估了GPT-4o在识别笑点多数标签方面的性能，实现了43.14%的F1分数。这些发现为更细致地识别和生成笑声奠定了基础，从而促进更自然和引人入胜的人机交互，推动了对话AI的发展。

🔬 方法详解

问题定义：论文旨在解决对话式AI在理解和生成自然语言时，难以识别和理解人类对话中“笑点”的问题。现有方法通常依赖于简单的关键词匹配或情感分析，无法捕捉到笑点背后复杂的语境和原因，导致AI在对话中缺乏幽默感和共情能力。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解和生成能力，辅助人工标注，构建一个更全面和细致的笑点分类体系。通过让LLM解释每个笑点产生的原因，可以更深入地理解笑点背后的语境和意图，从而为AI提供更丰富的知识和信息。

技术框架：整体流程包括三个主要阶段：1) 人工标注：多名标注者对日语自发文本对话数据进行二元标注（笑点/非笑点）；2) LLM辅助解释：利用LLM（具体为GPT-4o）对标注为笑点的语境生成解释，说明其可笑的原因；3) 分类体系构建：人工分析LLM生成的解释，将其归纳为十个不同的类别，形成最终的笑点分类体系。

关键创新：该研究的关键创新在于利用LLM辅助人工标注，构建笑点分类体系。与传统的人工构建方法相比，LLM可以提供更全面和多样的解释，避免了人工标注的主观性和局限性。此外，该研究提出的分类体系涵盖了多种笑点类型，更贴近真实的人类对话场景。

关键设计：在LLM辅助解释阶段，使用了GPT-4o模型，并针对日语文本进行了优化。分类体系的构建过程中，人工对LLM生成的解释进行了多次迭代和调整，确保每个类别都具有明确的定义和区分度。实验中，使用F1分数作为评估指标，衡量GPT-4o识别笑点多数标签的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，GPT-4o在识别笑点多数标签的任务中取得了43.14%的F1分数。虽然该分数还有提升空间，但验证了利用LLM辅助识别笑点的可行性。该研究还构建了一个包含十个类别的笑点分类体系，为后续研究提供了宝贵的数据和知识。

🎯 应用场景

该研究成果可应用于多种对话AI场景，例如智能客服、聊天机器人和虚拟助手。通过识别和理解对话中的笑点，AI可以更自然地回应用户，提升用户体验。此外，该研究还可以用于开发更具幽默感和共情能力的AI系统，促进更自然和有效的人机交互。

📄 摘要（原文）

Laughter serves as a multifaceted communicative signal in human interaction, yet its identification within dialogue presents a significant challenge for conversational AI systems. This study addresses this challenge by annotating laughable contexts in Japanese spontaneous text conversation data and developing a taxonomy to classify the underlying reasons for such contexts. Initially, multiple annotators manually labeled laughable contexts using a binary decision (laughable or non-laughable). Subsequently, an LLM was used to generate explanations for the binary annotations of laughable contexts, which were then categorized into a taxonomy comprising ten categories, including "Empathy and Affinity" and "Humor and Surprise," highlighting the diverse range of laughter-inducing scenarios. The study also evaluated GPT-4o's performance in recognizing the majority labels of laughable contexts, achieving an F1 score of 43.14%. These findings contribute to the advancement of conversational AI by establishing a foundation for more nuanced recognition and generation of laughter, ultimately fostering more natural and engaging human-AI interactions.