Creating a Lens of Chinese Culture: A Multimodal Dataset for Chinese Pun Rebus Art Understanding

📄 arXiv: 2406.10318v1 📥 PDF

作者: Tuo Zhang, Tiantian Feng, Yibin Ni, Mengqin Cao, Ruying Liu, Katharine Butler, Yanjun Weng, Mi Zhang, Shrikanth S. Narayanan, Salman Avestimehr

分类: cs.CV, cs.AI

发布日期: 2024-06-14

💡 一句话要点

提出Pun Rebus Art Dataset，用于提升视觉-语言模型对中国文化语境下艺术的理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 多模态数据集 中国传统文化 隐喻纹样艺术 文化理解 艺术品鉴赏 知识表示

📋 核心要点

  1. 现有视觉-语言模型在理解文化内涵丰富的艺术作品方面存在不足，尤其是在中国传统文化语境下。
  2. 论文构建了一个多模态数据集Pun Rebus Art Dataset，专注于识别视觉元素、匹配象征意义和解释信息。
  3. 实验表明，现有VLMs在处理该数据集时表现不佳，存在偏差和幻觉问题，数据集的发布旨在促进相关研究。

📝 摘要（中文）

大型视觉-语言模型(VLMs)在理解日常内容方面表现出了卓越的能力。然而，它们在艺术领域，特别是具有丰富文化内涵的艺术形式中的表现仍有待探索。艺术作为人类智慧和创造力的结晶，蕴含着复杂的文化叙事和象征意义。本文提出了Pun Rebus Art Dataset，这是一个多模态数据集，用于理解深深植根于中国传统文化的艺术。我们专注于三个主要任务：识别显著的视觉元素，将元素与其象征意义相匹配，以及解释所传达的信息。我们的评估表明，最先进的VLMs在这些任务中表现不佳，经常提供有偏差和虚假的解释，并且通过上下文学习的改进有限。通过发布Pun Rebus Art Dataset，我们旨在促进VLMs的发展，使其能够更好地理解和解释具有文化特定性的内容，从而促进在基于英语的语料库之外的更大包容性。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型(VLMs)在理解具有深厚文化背景的艺术作品时所面临的挑战，特别是中国传统文化中的“隐喻纹样艺术”。现有VLMs在理解此类艺术作品时，往往无法准确识别图像中的关键元素，无法将其与对应的文化象征意义联系起来，也无法正确解读作品所传达的深层含义。这主要是因为现有模型主要基于英文语料库训练，缺乏对特定文化背景知识的理解。

核心思路：论文的核心思路是构建一个专门针对中国隐喻纹样艺术的多模态数据集，该数据集包含图像、视觉元素的标注、元素对应的象征意义以及对作品整体含义的解释。通过在该数据集上训练和评估VLMs，可以提升模型对中国文化语境下艺术作品的理解能力，减少偏差和幻觉。

技术框架：该研究的技术框架主要围绕Pun Rebus Art Dataset的构建和使用展开。数据集构建包括以下几个阶段：1) 收集中国传统隐喻纹样艺术作品的图像；2) 聘请专家对图像中的视觉元素进行标注，并给出每个元素对应的象征意义；3) 对每幅作品的整体含义进行解释，形成文本描述。然后，使用该数据集对现有的VLMs进行评估，并尝试通过上下文学习等方法提升模型的性能。

关键创新：该论文的关键创新在于构建了一个高质量的、专门针对中国隐喻纹样艺术的多模态数据集。该数据集的标注信息非常详细，不仅包含了视觉元素的标注，还包含了元素对应的象征意义和作品整体含义的解释，这为VLMs的学习提供了丰富的知识。此外，该数据集的发布也为相关领域的研究人员提供了一个新的benchmark，可以促进VLMs在文化理解方面的研究。

关键设计：数据集的关键设计在于其多模态性和详细的标注信息。图像数据来源于中国传统艺术作品，保证了数据集的文化代表性。视觉元素的标注采用了人工标注的方式，保证了标注的准确性。象征意义和作品含义的解释由专家提供，保证了知识的专业性。此外，数据集还考虑了不同纹样艺术的类别，例如吉祥纹样、历史故事纹样等，从而增加了数据集的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，现有的先进视觉-语言模型在Pun Rebus Art Dataset上表现不佳，表明这些模型在理解文化特定内容方面存在局限性。即使采用上下文学习的方法，模型的性能提升也十分有限。这些结果突显了该数据集的价值，并为未来研究指明了方向。

🎯 应用场景

该研究成果可应用于文化遗产保护、艺术品鉴赏、智能导览等领域。通过提升VLMs对文化艺术作品的理解能力，可以开发出更智能的艺术品分析工具，帮助人们更好地理解和欣赏艺术作品。此外，该研究也有助于促进跨文化交流，让更多人了解和欣赏中国传统文化。

📄 摘要（原文）

Large vision-language models (VLMs) have demonstrated remarkable abilities in understanding everyday content. However, their performance in the domain of art, particularly culturally rich art forms, remains less explored. As a pearl of human wisdom and creativity, art encapsulates complex cultural narratives and symbolism. In this paper, we offer the Pun Rebus Art Dataset, a multimodal dataset for art understanding deeply rooted in traditional Chinese culture. We focus on three primary tasks: identifying salient visual elements, matching elements with their symbolic meanings, and explanations for the conveyed messages. Our evaluation reveals that state-of-the-art VLMs struggle with these tasks, often providing biased and hallucinated explanations and showing limited improvement through in-context learning. By releasing the Pun Rebus Art Dataset, we aim to facilitate the development of VLMs that can better understand and interpret culturally specific content, promoting greater inclusiveness beyond English-based corpora.