VaseMuseum: Digital Intelligent Museum for Ancient Greek Pottery

📄 arXiv: 2607.06374v1 📥 PDF

作者: Jiazi Wang, Nonghai Zhang, Qiushi Xie, Zeyu Zhang, Yufeng Chen, Yang Zhao, Ling Shao, Hao Tang

分类: cs.CV

发布日期: 2026-07-07

备注: Code: https://github.com/AIGeeksGroup/VaseMuseum. Website: https://aigeeksgroup.github.io/VaseMuseum

💡 一句话要点

提出VaseMuseum以解决古希腊陶器数字博物馆中的VLM辅助问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态感知 文化遗产 数字博物馆 古希腊陶器 知识检索 推理控制

📋 核心要点

  1. 核心问题：现有的视觉语言模型在古希腊陶器的文化遗产领域中，因证据检索和不确定性处理的不足而限制了其可靠性。
  2. 方法要点：VaseMuseum通过VaseAgent模块化设计，结合多模态感知和外部知识检索，增强了对2D和3D文物的支持。
  3. 实验或效果：在数字博物馆模拟实验中，VaseMuseum提高了引用有效性，减少了知识密集型查询中的幻觉现象，并在模糊情况下生成了更中立的答案。

📝 摘要（中文）

视觉语言模型（VLMs）通过将3D数字化与自然语言文物探索相结合，使互动数字博物馆的实现变得日益可行。然而，在古希腊陶器等文化遗产领域，VLM的可靠性受到两个挑战的限制。首先，开放式解释需要将细粒度的2D/3D视觉证据与专业的策展知识相结合，但检索过程可能引入弱来源和不可验证的参考。其次，当可用证据不完整、嘈杂或模糊时，VLM往往会产生自信但缺乏支持的答案，而不是经过校准的不确定性。为了解决这些挑战，本文提出了VaseMuseum，一个轻量级和模块化的多模态代理框架，旨在为古希腊陶器的智能数字博物馆提供支持。VaseMuseum结合了互动虚拟博物馆与VaseAgent，支持通过多模态感知、3D感知推理、外部知识检索和推理时可靠性控制来处理2D图像和3D文物。

🔬 方法详解

问题定义：论文要解决古希腊陶器数字博物馆中视觉语言模型（VLM）辅助的可靠性问题。现有方法在证据检索时可能引入不可靠来源，并在处理不完整或模糊证据时产生自信但缺乏支持的答案。

核心思路：论文提出VaseMuseum框架，通过模块化设计和多模态感知，结合外部知识检索和推理时的可靠性控制，旨在提升VLM在文化遗产领域的应用效果。

技术框架：VaseMuseum整体架构包括互动虚拟博物馆和VaseAgent模块，VaseAgent负责处理2D图像和3D文物，利用多模态感知、3D感知推理和外部知识检索来增强信息的可靠性。

关键创新：VaseMuseum的核心创新在于源级控制和响应级控制机制，前者选择多样且可验证的证据，后者在生成答案时检查与证据池的匹配，确保答案的中立性和可靠性。

关键设计：VaseMuseum采用训练无关的GRPO风格选择机制，优先选择具有有效引用和经过校准的信心的响应，而无需更新VLM的基础结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数字博物馆模拟实验中，VaseMuseum显著提高了引用有效性，减少了知识密集型查询中的幻觉现象，生成的答案在模糊情况下更为中立，相较于基线模型，性能得到了明显提升。

🎯 应用场景

VaseMuseum的研究成果可广泛应用于文化遗产保护、数字博物馆建设和教育领域，能够提升用户对古希腊陶器等文物的理解和探索体验。未来，该框架有潜力扩展到其他文化遗产领域，促进多模态学习和人机交互的进一步发展。

📄 摘要（原文）

Vision-language models (VLMs) have made interactive digital museums increasingly feasible by connecting 3D digitization with natural-language artifact exploration. However, in cultural heritage domains such as ancient Greek pottery, reliable VLM assistance is limited by two challenges. First, open-ended interpretation requires grounding fine-grained 2D/3D visual evidence in specialized curatorial knowledge, yet the retrieval process may introduce weak sources and unverifiable references. Second, when the available evidence is incomplete, noisy, or ambiguous, VLMs often produce confident but unsupported answers instead of calibrated uncertainty. To address these challenges, we propose VaseMuseum, a lightweight and modular multimodal agent framework for intelligent digital museums of ancient Greek pottery. VaseMuseum combines an interactive virtual museum with VaseAgent, which supports both 2D images and 3D artifacts through multimodal perception, 3D-aware reasoning, external knowledge retrieval, and inference-time reliability control. Specifically, VaseAgent retrieves evidence from authoritative web and museum knowledge sources, and source-level control selects diverse and verifiable evidence before generation. Meanwhile, response-level control checks generated claims against the evidence pool and encourages neutral, evidence-bounded answers when support is insufficient or conflicting. Moreover, a training-free GRPO-style selection mechanism favors responses with valid references and calibrated confidence without updating the VLM backbone. Experiments in a realistic digital museum simulation show that VaseMuseum improves citation validity, reduces hallucinations on knowledge-intensive queries, and produces more neutral answers under ambiguity compared with search-enabled VLM baselines.