When More Metadata Misleads: Probing Field-Level Grounding in LLM-Generated Museum Descriptions

📄 arXiv: 2610.31193v1 📥 PDF

作者: Clemencia Siro, Laura Hollink

分类: cs.CL, cs.AI, cs.DL, cs.LG

发布日期: 2026-10-22

备注: Accepted to EMNLP 2026 Findings

💡 一句话要点

提出元数据条件生成框架以解决博物馆描述生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元数据生成 博物馆描述 数据到文本 自然语言处理 多模态学习 信息检索

📋 核心要点

  1. 现有的元数据条件生成方法假设更多的输入字段能够改善生成的准确性，但在博物馆描述生成中并不成立。
  2. 论文提出通过两阶段框架分析元数据的组成，探讨其对文物描述生成的影响，特别关注字段类型和图像的作用。
  3. 实验结果表明，元数据的数量并不能单独解释生成行为，字段类型和图像的可用性对生成结果有显著影响。

📝 摘要（中文）

元数据条件生成通常被视为数据到文本的任务，认为额外的输入字段应改善生成的准确性。然而，博物馆描述生成挑战了这一假设，因为目录记录的异质性、部分视觉信息和地理区域的不均匀文档化。本文研究了元数据组成如何影响文物描述的生成，采用两阶段框架进行分析。第一阶段分析了大型博物馆藏品中的自然元数据变异，第二阶段引入了控制字段探针，结果表明仅元数据数量无法解释生成行为，字段类型和图像可用性对模型的生成影响显著。

🔬 方法详解

问题定义：本研究旨在解决博物馆描述生成中元数据条件生成的有效性问题，现有方法未能充分考虑元数据的异质性和不均匀性。

核心思路：通过分析自然元数据变异和引入控制字段探针，探讨不同元数据组合对生成结果的影响，强调字段类型和图像在生成过程中的重要性。

技术框架：研究分为两个阶段，第一阶段分析博物馆藏品中的元数据变异，第二阶段通过控制实验探讨不同元数据组合的生成效果。

关键创新：提出了在元数据条件生成中评估字段和声明级支持的框架，挑战了仅依赖输入覆盖或参考相似性的传统评估方法。

关键设计：实验中设置了不同的元数据字段类型、数量和图像可用性，采用了控制探针以固定对象身份，确保实验结果的有效性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，元数据数量并未显著影响生成行为，而字段类型的变化导致了模型在信息生成中的不同表现。特别是，图像的可用性不仅支持了视觉基础的生成，还可能导致不支持的解释，强调了元数据设计的重要性。

🎯 应用场景

该研究的潜在应用领域包括博物馆信息系统、文化遗产数字化和教育平台。通过改进博物馆描述生成，可以提升用户体验，帮助观众更好地理解和欣赏文物，同时为博物馆的数字化转型提供支持。

📄 摘要（原文）

Metadata-conditioned generation is often framed as a data-to-text task in which additional input fields should improve grounding. Museum description generation challenges this assumption because catalogue records are heterogeneous, partially visual, and unevenly documented across geographic regions. We study how metadata composition shapes the generation of artefact descriptions through a two-phase framework. Phase 1 analyses natural metadata variation in a large museum collection, where field count, field type, image availability, and Place co-vary. Phase 2 introduces controlled field probes that hold object identity fixed while varying metadata quantity, field type, and image access. Our results show that metadata quantity alone does not explain generation behaviour. Field type determines whether models ground, omit, or infer information, while images can both support visual grounding and increase unsupported interpretation. More broadly, our findings show that metadata-conditioned data-to-text evaluation should assess field- and claim-level support, rather than relying only on aggregate input coverage or reference similarity.