On the Cultural Anachronism and Temporal Reasoning in Vision Language Models

📄 arXiv: 2605.15071v1 📥 PDF

作者: Mukul Ranjan, Prince Jha, Khushboo Kumari, Zhiqiang Shen

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-05-14

备注: Project Page: https://khushboo0012.github.io/tab-vlm-webpage/

💡 一句话要点

提出TAB-VLM基准测试，揭示VLM在文化遗产理解中的文化时代错误问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 文化遗产 时间推理 文化时代错误 基准测试 印度文化 多模态学习

📋 核心要点

  1. 现有视觉-语言模型在解释历史文物时，存在将现代概念错误地应用于古代物品的“文化时代错误”问题。
  2. 论文提出TAB-VLM基准测试，包含印度文化文物，旨在量化VLM在时间推理方面的能力，从而发现模型的不足。
  3. 实验表明，即使是GPT-5.2等先进模型在TAB-VLM上的准确率也仅为58.7%，揭示了VLM在文化理解方面的局限性。

📝 摘要（中文）

视觉-语言模型（VLM）越来越多地应用于文化遗产材料，从数字档案馆到教育平台。本研究发现了一个根本问题，即这些模型如何解释历史文物。我们将这种现象定义为文化时代错误，即使用时间上不恰当的概念、材料或文化框架来错误地解释历史物品的倾向。为了量化这种现象，我们引入了视觉-语言模型的时间时代错误基准测试（TAB-VLM），这是一个包含六个类别共600个问题的数据集，旨在评估对1600个印度文化文物（从史前到现代）的时间推理能力。对十个最先进模型的系统评估表明，我们的基准测试存在重大缺陷，即使是最好的模型（GPT-5.2）也仅达到58.7%的总体准确率。性能差距在不同的架构和规模上持续存在，表明文化时代错误代表了视觉AI系统的一个重大局限，而与模型大小无关。这些发现突出了当前VLM能力与准确解释文化遗产材料（特别是训练数据中代表性不足的非西方视觉文化）的要求之间的差距。我们的基准测试为增强与历史文物交互的多模态AI系统中的时间认知提供了基础。数据集和代码可在我们的项目页面中找到。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型（VLM）在理解和解释文化遗产材料时出现的“文化时代错误”问题。现有VLM在训练数据中可能缺乏对特定文化或历史时期的充分表示，导致它们倾向于使用现代的、不恰当的概念或框架来解释历史文物。这种现象阻碍了VLM在文化遗产领域的可靠应用。

核心思路：论文的核心思路是通过构建一个专门的基准测试数据集（TAB-VLM），来系统地评估VLM在时间推理和文化理解方面的能力。该数据集包含跨越不同历史时期的印度文化文物，并设计了一系列问题来考察模型是否能够正确地识别和解释这些文物的时间背景和文化内涵。通过量化VLM在TAB-VLM上的表现，可以揭示其在文化时代错误方面的缺陷。

技术框架：论文构建了TAB-VLM数据集，包含1600个印度文化文物，跨越史前到现代时期。数据集包含600个问题，分为六个类别，旨在评估模型的时间推理能力。论文使用该数据集对10个最先进的VLM进行了系统评估。

关键创新：论文的关键创新在于识别并定义了“文化时代错误”这一概念，并提出了相应的量化方法。TAB-VLM数据集的构建，为评估VLM在文化理解方面的能力提供了一个新的基准。此外，论文还揭示了现有VLM在处理非西方文化遗产材料时存在的局限性。

关键设计：TAB-VLM数据集的设计考虑了以下几个关键因素：1) 文物选择：选择具有代表性的印度文化文物，涵盖不同的历史时期和文化类别。2) 问题设计：设计能够考察模型时间推理和文化理解能力的问题，例如“这个文物是什么时期的？”、“这个文物在当时有什么用途？”。3) 评估指标：使用准确率作为评估指标，量化模型在TAB-VLM上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最先进的VLM（如GPT-5.2）在TAB-VLM上的总体准确率也仅为58.7%。这表明现有VLM在处理文化遗产材料时存在显著的局限性。此外，实验还发现，性能差距在不同的架构和规模上持续存在，表明文化时代错误是一个普遍存在的问题，而不仅仅是模型规模不足导致的。

🎯 应用场景

该研究成果可应用于文化遗产保护、数字博物馆、教育平台等领域。通过提高VLM对历史文物的理解能力，可以为用户提供更准确、更丰富的文化信息，促进文化交流和传承。未来的研究可以进一步探索如何利用TAB-VLM数据集来改进VLM的训练方法，使其更好地适应文化遗产领域的应用。

📄 摘要（原文）

Vision-Language Models (VLMs) are increasingly applied to cultural heritage materials, from digital archives to educational platforms. This work identifies a fundamental issue in how these models interpret historical artifacts. We define this phenomenon as cultural anachronism, the tendency to misinterpret historical objects using temporally inappropriate concepts, materials, or cultural frameworks. To quantify this phenomenon, we introduce the Temporal Anachronism Benchmark for Vision-Language Models (TAB-VLM), a dataset of 600 questions across six categories, designed to evaluate temporal reasoning on 1,600 Indian cultural artifacts spanning prehistoric to modern periods. Systematic evaluations of ten state-of-the-art models reveal significant deficiencies on our benchmark, and even the best model (GPT-5.2) achieves only 58.7% overall accuracy. The performance gap persists across varying architectures and scales, suggesting that cultural anachronism represents a significant limitation in visual AI systems, regardless of model size. These findings highlight the disparity between current VLM capabilities and the requirements for accurately interpreting cultural heritage materials, particularly for non-Western visual cultures underrepresented in training data. Our benchmark provides a foundation for enhancing temporal cognition in multimodal AI systems that interact with historical artifacts. The dataset and code are available in our project page.