Don't Erase, Inform! Detecting and Contextualizing Harmful Language in Cultural Heritage Collections

📄 arXiv: 2505.24538v1 📥 PDF

作者: Orfeas Menis Mastromichalakis, Jason Liartis, Kristina Rose, Antoine Isaac, Giorgos Stamou

分类: cs.CL

发布日期: 2025-05-30

💡 一句话要点

提出一种AI工具，用于检测文化遗产数据中的有害语言并提供语境信息。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化遗产 有害语言检测 自然语言处理 大型语言模型 语境化

📋 核心要点

  1. 文化遗产数据中存在大量带有历史偏见的冒犯性描述，人工审核成本高昂且效率低下。
  2. 利用AI技术检测冒犯性术语，并结合多语言词汇表和大型语言模型提供上下文语境。
  3. 开发工具已处理数百万条记录，旨在揭示偏见并提供可操作的建议，而非简单删除。

📝 摘要（中文）

文化遗产(CH)数据蕴含着宝贵的知识，反映了社会历史、传统和身份，塑造了我们对过去和现在的理解。然而，许多CH馆藏包含过时或冒犯性的描述，反映了历史偏见。文化遗产机构(CHI)在管理这些数据方面面临着巨大的挑战，因为任务规模庞大且复杂。为了解决这个问题，我们开发了一种AI驱动的工具，可以检测CH元数据中的冒犯性术语，并提供关于其历史背景和当代认知的语境信息。我们利用与边缘化社区、研究人员和CH专业人士共同创建的多语言词汇表，以及传统的NLP技术和大型语言模型(LLM)。该工具可作为独立的Web应用程序使用，并与主要的CH平台集成，已处理超过790万条记录，对元数据中检测到的有争议术语进行语境化。我们的方法不是删除这些术语，而是试图告知，使偏见可见，并为创建更具包容性和可访问性的CH馆藏提供可操作的见解。

🔬 方法详解

问题定义：文化遗产机构需要处理大量包含冒犯性或过时描述的元数据，这些描述反映了历史偏见。人工审核不仅耗时，而且难以保证一致性和全面性。现有方法缺乏对这些术语的历史背景和当代认知的深入理解，容易造成误判或不当处理。

核心思路：该论文的核心思路是利用AI技术自动检测文化遗产元数据中的有害语言，并提供相关的上下文信息，帮助文化遗产机构更好地理解和处理这些数据。该方法强调“告知”而非“删除”，旨在揭示历史偏见，促进更具包容性和可访问性的文化遗产馆藏。

技术框架：该工具包含以下主要模块：1) 多语言词汇表：与边缘化社区、研究人员和文化遗产专业人士共同创建，用于识别潜在的冒犯性术语。2) NLP技术：利用传统的自然语言处理技术，如词性标注、命名实体识别等，对元数据进行预处理和分析。3) 大型语言模型(LLM)：利用LLM生成关于冒犯性术语的历史背景和当代认知的上下文信息。4) Web应用程序：提供用户友好的界面，方便文化遗产机构使用该工具。

关键创新：该论文的关键创新在于：1) 结合多语言词汇表和LLM，提供更全面和深入的上下文信息。2) 强调“告知”而非“删除”，旨在揭示历史偏见，促进更具包容性的文化遗产馆藏。3) 开发了易于使用的Web应用程序，方便文化遗产机构使用。

关键设计：关于关键设计，论文中没有给出具体的参数设置、损失函数、网络结构等技术细节。但是，可以推测，LLM的选择和微调、多语言词汇表的构建、以及上下文信息的生成策略是关键的设计要素。未来的研究可以进一步探讨这些方面的细节。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该工具已处理超过790万条文化遗产记录，成功检测并语境化了大量有争议的术语。通过与主要文化遗产平台集成，该工具能够为用户提供实时的上下文信息，帮助他们更好地理解和处理文化遗产数据。该研究为文化遗产领域的数字化转型提供了有力的支持。

🎯 应用场景

该研究成果可广泛应用于文化遗产机构，帮助他们识别和处理馆藏中的有害语言，提升数据的包容性和可访问性。此外，该方法也可应用于其他领域，如社交媒体内容审核、在线评论管理等，以检测和处理有害言论，营造更健康的网络环境。该研究有助于促进社会公平和文化多样性。

📄 摘要（原文）

Cultural Heritage (CH) data hold invaluable knowledge, reflecting the history, traditions, and identities of societies, and shaping our understanding of the past and present. However, many CH collections contain outdated or offensive descriptions that reflect historical biases. CH Institutions (CHIs) face significant challenges in curating these data due to the vast scale and complexity of the task. To address this, we develop an AI-powered tool that detects offensive terms in CH metadata and provides contextual insights into their historical background and contemporary perception. We leverage a multilingual vocabulary co-created with marginalized communities, researchers, and CH professionals, along with traditional NLP techniques and Large Language Models (LLMs). Available as a standalone web app and integrated with major CH platforms, the tool has processed over 7.9 million records, contextualizing the contentious terms detected in their metadata. Rather than erasing these terms, our approach seeks to inform, making biases visible and providing actionable insights for creating more inclusive and accessible CH collections.