On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

📄 arXiv: 2602.06423v1 📥 PDF

作者: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

分类: cs.CL

发布日期: 2026-02-06

备注: Paper accepted as a conference paper at ICLR 2026

💡 一句话要点

提出基于冲突脚本的多角色框架HOMER，用于生成幽默的图像描述

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幽默生成 多模态学习 大型语言模型 GTVH理论 图像描述

📋 核心要点

  1. 现有基于LLM的幽默描述生成方法创造力和可解释性有限，难以充分捕捉幽默的本质。
  2. 提出HOMER框架，利用GTVH幽默理论，通过多角色LLM协作，模拟人类的幽默生成过程。
  3. 实验结果表明，HOMER在幽默描述生成任务上显著优于现有方法，提升了性能。

📝 摘要（中文）

幽默是日常生活中常用且复杂的人类语言。幽默生成，尤其是在多模态场景中，对于大型语言模型（LLM）来说是一项具有挑战性的任务，例如为图像生成有趣的描述，这需要视觉理解、幽默推理和创造性想象等能力。现有的基于LLM的方法依赖于推理链或自我改进，但存在创造力和可解释性有限的问题。为了解决这些瓶颈，我们基于一种基本的幽默理论GTVH，开发了一种新颖的基于LLM的幽默生成机制。为了产生有趣且脚本对立的描述，我们引入了一个由幽默理论驱动的、多角色LLM协作框架，并辅以幽默检索（HOMER）。该框架由三个基于LLM的角色组成：（1）冲突脚本提取器，将幽默建立在关键的脚本对立上，形成描述生成的基础；（2）检索增强的分层想象器，识别关键的幽默目标，并通过组织成想象树的各种关联来扩展它们的创造空间；（3）描述生成器，根据获得的知识生成有趣且多样的描述。在两个《纽约客》漫画基准数据集上的大量实验表明，HOMER在多模态幽默描述生成方面优于最先进的基线和强大的LLM推理策略。

🔬 方法详解

问题定义：论文旨在解决多模态场景下，如何让大型语言模型（LLM）生成幽默的图像描述这一难题。现有方法，如依赖推理链或自我改进，在创造力和可解释性方面存在局限性，难以产生真正有趣的描述。

核心思路：论文的核心思路是基于GTVH（General Theory of Verbal Humor）幽默理论，将幽默的产生分解为多个步骤，并由不同的LLM角色分别负责。通过模拟人类的幽默思维过程，从而提高生成描述的幽默感和多样性。

技术框架：HOMER框架包含三个主要模块：1) 冲突脚本提取器：从图像中提取关键的脚本对立信息，作为幽默的基础。2) 检索增强的分层想象器：通过检索相关知识和构建想象树，扩展幽默目标的创造空间。3) 描述生成器：根据提取的脚本对立信息和想象树，生成最终的幽默描述。

关键创新：该方法最重要的创新在于引入了多角色LLM协作框架，每个角色负责幽默生成过程中的不同方面，从而更好地模拟人类的幽默思维。此外，利用GTVH理论指导幽默生成，提高了生成描述的理论基础和可解释性。

关键设计：检索增强的分层想象器通过构建想象树来扩展创造空间，想象树的构建方式和检索策略是关键设计。冲突脚本提取器的具体实现方式，以及如何将提取的脚本对立信息有效地传递给描述生成器，也是重要的技术细节。具体的损失函数和训练策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在《纽约客》漫画数据集上的实验表明，HOMER框架在多模态幽默描述生成任务上显著优于现有最先进的基线方法和强大的LLM推理策略。具体的性能提升数据未知，但论文强调了HOMER在幽默感和多样性方面的优势。

🎯 应用场景

该研究成果可应用于智能聊天机器人、社交媒体内容生成、广告文案创作等领域，提升AI在人机交互中的趣味性和吸引力。未来，该技术有望进一步发展，实现更高级的幽默理解和生成，促进人与AI之间的情感连接。

📄 摘要（原文）

Humor is a commonly used and intricate human language in daily life. Humor generation, especially in multi-modal scenarios, is a challenging task for large language models (LLMs), which is typically as funny caption generation for images, requiring visual understanding, humor reasoning, creative imagination, and so on. Existing LLM-based approaches rely on reasoning chains or self-improvement, which suffer from limited creativity and interpretability. To address these bottlenecks, we develop a novel LLM-based humor generation mechanism based on a fundamental humor theory, GTVH. To produce funny and script-opposite captions, we introduce a humor-theory-driven multi-role LLM collaboration framework augmented with humor retrieval (HOMER). The framework consists of three LLM-based roles: (1) conflicting-script extractor that grounds humor in key script oppositions, forming the basis of caption generation; (2) retrieval-augmented hierarchical imaginator that identifies key humor targets and expands the creative space of them through diverse associations structured as imagination trees; and (3) caption generator that produces funny and diverse captions conditioned on the obtained knowledge. Extensive experiments on two New Yorker Cartoon benchmarking datasets show that HOMER outperforms state-of-the-art baselines and powerful LLM reasoning strategies on multi-modal humor captioning.