VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery

📄 arXiv: 2509.17191v2 📥 PDF

作者: Jinchao Ge, Tengfei Cheng, Biao Wu, Zeyu Zhang, Shiya Huang, Judith Bishop, Gillian Shepherd, Meng Fang, Ling Chen, Yang Zhao

分类: cs.CV, cs.CL

发布日期: 2025-09-21 (更新: 2026-01-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出VaseVQA基准和VaseVL模型，用于提升多模态大模型在古希腊陶器领域的专家级理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 强化学习 文化遗产 古希腊陶器

📋 核心要点

  1. 现有MLLM在古希腊陶器等文化遗产理解方面面临领域数据不足和专家级推理能力欠缺的挑战。
  2. 论文提出VaseVL模型，结合监督微调和强化学习，利用可验证奖励提升模型在复杂推理任务上的性能。
  3. 实验表明，VaseVL在VaseVQA基准上显著优于监督学习基线，尤其在推理密集型问题上表现突出。

📝 摘要（中文）

理解古希腊陶器等文化遗产文物需要专家级别的推理能力，但由于领域特定数据的限制，这对于当前的多模态大语言模型（MLLM）来说仍然具有挑战性。我们引入了VaseVQA，这是一个包含31,773张图像和67,614个问答对的基准数据集，涵盖七个专家定义的类别，能够系统地评估专家级别的文化遗产理解能力。基于该数据集，我们探索了领域特定推理的有效训练策略。虽然监督微调可以提高对领域知识的适应性，但它在更深层次的推理任务中表现不佳。我们提出了VaseVL，它通过使用可验证奖励的强化学习来增强监督微调。实验表明，VaseVL始终优于监督基线，尤其是在推理密集型问题上，突出了有针对性的强化学习在文化遗产视觉问答中的价值。我们的代码和数据集将在https://github.com/AIGeeksGroup/VaseVQA上发布。

🔬 方法详解

问题定义：论文旨在解决多模态大模型在理解古希腊陶器等文化遗产文物时，由于缺乏领域特定数据和专家级推理能力而表现不佳的问题。现有方法，如监督微调，虽然可以适应领域知识，但在更深层次的推理任务中存在局限性。

核心思路：论文的核心思路是结合监督微调和强化学习，利用可验证的奖励信号来引导模型学习更有效的推理策略。通过强化学习，模型可以更好地探索和利用领域知识，从而提高在复杂推理任务中的性能。

技术框架：整体框架包括两个主要阶段：首先，使用监督微调（SFT）在VaseVQA数据集上对模型进行预训练，使其初步具备领域知识。然后，使用强化学习（RL）对模型进行进一步优化，利用可验证的奖励信号来鼓励模型生成更准确和合理的答案。VaseVL模型是基于此框架构建的。

关键创新：论文的关键创新在于将强化学习引入到文化遗产视觉问答任务中，并设计了可验证的奖励函数。这种方法能够有效地引导模型学习更深层次的推理能力，从而克服了传统监督学习方法的局限性。

关键设计：奖励函数的设计是关键。论文采用可验证的奖励，例如，答案是否符合专家知识、是否与图像内容一致等。具体的网络结构和参数设置在论文中未详细说明，属于未知信息。损失函数结合了监督学习损失和强化学习奖励，以平衡领域知识学习和推理能力提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VaseVL模型在VaseVQA基准上显著优于监督学习基线，尤其是在推理密集型问题上。具体性能数据和提升幅度在论文中未明确给出，属于未知信息。但总体而言，实验验证了强化学习在文化遗产视觉问答中的有效性。

🎯 应用场景

该研究成果可应用于文化遗产保护、教育和研究领域。通过提升多模态模型对古代文物等文化遗产的理解能力，可以辅助专家进行文物鉴定、修复和研究，并为公众提供更深入的文化遗产知识。

📄 摘要（原文）

Understanding cultural heritage artifacts such as ancient Greek pottery requires expert-level reasoning that remains challenging for current MLLMs due to limited domain-specific data. We introduce VaseVQA, a benchmark of 31,773 images and 67,614 question-answer pairs across seven expert-defined categories, enabling systematic evaluation of expert-level cultural heritage understanding. Using this dataset, we explore effective training strategies for domain-specific reasoning. While supervised fine-tuning improves adaptation to domain knowledge, it struggles with deeper reasoning tasks. We propose VaseVL, which augments SFT with reinforcement learning using verifiable rewards. Experiments show that VaseVL consistently outperforms supervised baselines, especially on reasoning-intensive questions, highlighting the value of targeted reinforcement learning for cultural heritage visual question answering. Our code and dataset will be released at https://github.com/AIGeeksGroup/VaseVQA.