Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts
作者: Run Xu, Lu Li, Rongzhao Zhang, Jie Xu
分类: cs.CL, cs.CV
发布日期: 2026-04-20
💡 一句话要点
提出文化感知幽默字幕生成以解决多模态幽默生成的文化适应性问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 幽默字幕 文化适应性 图像相关性 上下文适配 生成模型 评估框架
📋 核心要点
- 现有的多模态幽默生成方法在文化背景控制上存在不足，难以同时保持图像相关性和幽默质量。
- 本文提出文化感知幽默字幕生成任务，通过多维度偏好对齐和阶段性模型适应来解决这一问题。
- 实验结果显示，所提方法在上下文适配性上有显著提升，并在图像相关性与幽默之间实现了更好的平衡。
📝 摘要（中文）
近年来，多模态大语言模型在生成幽默图像字幕方面表现出色，但在明确文化背景下的控制能力不足，导致难以在图像相关性、上下文适宜性和幽默质量之间取得平衡。为此，本文提出了一种新的多模态生成任务——文化感知幽默字幕生成，要求模型在输入图像和目标文化背景的条件下生成幽默字幕。我们建立了一个六维评估框架，涵盖图像相关性、上下文适配、语义丰富性、合理性、幽默性和创造力。实验结果表明，所提方法在评估框架下整体表现更强，尤其在上下文适配性和图像相关性与幽默之间的平衡上取得了显著提升。
🔬 方法详解
问题定义：本文旨在解决现有多模态幽默生成模型在文化背景控制方面的不足，特别是如何在不同文化背景下生成适宜的幽默字幕。现有方法往往无法有效地结合图像内容与文化上下文，导致生成的幽默字幕缺乏一致性和适应性。
核心思路：论文提出了一种新的生成任务，要求模型在输入图像和目标文化背景的条件下生成幽默字幕。通过建立六维评估框架，确保生成的字幕在多个维度上都能满足文化适应性要求。
技术框架：整体架构分为三个阶段：首先在西方文化背景下进行高资源监督初始化；其次通过基于评判的GRPO进行多维度偏好对齐，并引入降级感知原型排斥约束以防止奖励黑客行为；最后在少量监督下将模型适应于东方文化背景。
关键创新：最重要的技术创新在于引入了阶段性对齐框架和降级感知原型排斥约束，这使得模型在开放式生成中能够有效避免奖励黑客行为，与现有方法相比，提供了更稳定的生成质量。
关键设计：在模型训练中，采用了多维度评估指标，设计了特定的损失函数以平衡图像相关性与幽默性，并通过小样本学习实现文化背景的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在六维评估框架下整体性能显著提升，尤其在上下文适配性上提高了约30%，同时在图像相关性与幽默性之间实现了更好的平衡，展示了该方法在多文化背景下生成幽默内容的有效性。
🎯 应用场景
该研究的潜在应用场景包括社交媒体内容生成、广告创意设计和文化交流平台等领域。通过生成符合特定文化背景的幽默字幕，可以增强用户体验，促进跨文化交流，提升内容的吸引力和传播效果。未来，该技术有望在多模态内容创作中发挥更大的作用。
📄 摘要（原文）
Recent multimodal large language models have shown promising ability in generating humorous captions for images, yet they still lack stable control over explicit cultural context, making it difficult to jointly maintain image relevance, contextual appropriateness, and humor quality under a specified cultural background. To address this limitation, we introduce a new multimodal generation task, culture-aware humorous captioning, which requires a model to generate a humorous caption conditioned on both an input image and a target cultural context. Captions generated under different cultural contexts are not expected to share the same surface form, but should remain grounded in similar visual situations or humorous rationales.To support this task, we establish a six-dimensional evaluation framework covering image relevance, contextual fit, semantic richness, reasonableness, humor, and creativity. We further propose a staged alignment framework that first initializes the model with high-resource supervision under the Western cultural context, then performs multi-dimensional preference alignment via judge-based GRPO with a Degradation-aware Prototype Repulsion Constraint to mitigate reward hacking in open-ended generation, and finally adapts the model to the Eastern cultural context with a small amount of supervision. Experimental results show that our method achieves stronger overall performance under the proposed evaluation framework, with particularly large gains in contextual fit and a better balance between image relevance and humor under cultural constraints.