CultureSynth: A Hierarchical Taxonomy-Guided and Retrieval-Augmented Framework for Cultural Question-Answer Synthesis

📄 arXiv: 2509.10886v1 📥 PDF

作者: Xinyu Zhang, Pei Zhang, Shuang Luo, Jialong Tang, Yu Wan, Baosong Yang, Fei Huang

分类: cs.CL, cs.AI

发布日期: 2025-09-13

备注: Accepted as a Findings paper at EMNLP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

CultureSynth：一种层级分类引导和检索增强的文化问答合成框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化能力 大型语言模型 检索增强生成 多语言 文化分类体系

📋 核心要点

  1. 现有文化评估基准存在分类体系分散、领域特定性强和过度依赖人工标注等局限性。
  2. CultureSynth通过构建层级文化分类体系和RAG方法，自动合成文化相关的问答对，降低人工标注成本。
  3. 实验表明，模型规模、架构和地理位置都会影响文化能力，并揭示了现有LLM在文化理解方面的不足。

📝 摘要（中文）

本文提出CultureSynth框架，旨在解决大型语言模型(LLMs)在全球环境中文化能力不足的问题。该框架包含：（1）一个全面的多语言文化层级分类体系，涵盖12个主要主题和130个次要主题；（2）一种基于检索增强生成(RAG)的方法，利用事实知识合成与文化相关的问答对。CultureSynth-7合成基准包含7种语言的19360个条目，其中4149个条目经过人工验证。对14个不同规模的LLM的评估表明，ChatGPT-4o-Latest和Qwen2.5-72B-Instruct表现领先。结果表明，达到基本文化能力需要30亿参数的模型，模型在知识处理中表现出不同的架构偏差，并且模型之间存在显著的地域差异。CultureSynth提供了一个可扩展的框架，用于开发具有文化意识的AI系统，同时减少对人工标注的依赖。

🔬 方法详解

问题定义：现有文化基准测试存在几个主要问题：一是文化分类体系不够全面和系统化，导致评估结果不够准确；二是领域特定性强，难以泛化到不同文化场景；三是严重依赖人工标注，成本高昂且难以扩展。因此，需要一种能够自动生成高质量、多语言文化问答对的方法，以更全面、高效地评估和提升LLM的文化能力。

核心思路：CultureSynth的核心思路是结合层级文化分类体系和检索增强生成(RAG)技术，自动化地生成文化相关的问答对。首先，构建一个全面的文化知识体系，然后利用RAG从知识库中检索相关信息，并生成符合特定文化背景的问答对。这种方法可以有效地减少对人工标注的依赖，并提高生成数据的多样性和覆盖率。

技术框架：CultureSynth框架主要包含两个核心模块：一是层级文化分类体系构建模块，用于定义和组织文化知识；二是基于RAG的问答对生成模块，用于自动生成文化相关的问答对。具体流程如下：1. 构建多语言层级文化分类体系；2. 基于分类体系，利用RAG从知识库中检索相关信息；3. 使用LLM生成与检索到的信息相关的问答对；4. 对生成的问答对进行过滤和验证，确保质量。

关键创新：CultureSynth的关键创新在于将层级文化分类体系与RAG技术相结合，实现文化问答对的自动化生成。与传统方法相比，CultureSynth无需大量人工标注，可以更高效地生成大规模、多语言的文化问答数据集。此外，层级分类体系能够更好地组织和管理文化知识，提高生成数据的质量和相关性。

关键设计：在层级文化分类体系方面，论文构建了一个包含12个主要主题和130个次要主题的分类体系。在RAG方面，论文使用了开源的知识库和预训练的LLM。具体而言，检索模块使用了基于向量相似度的检索方法，生成模块使用了微调后的LLM。此外，论文还设计了一系列过滤规则，用于去除低质量的生成结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ChatGPT-4o-Latest和Qwen2.5-72B-Instruct在CultureSynth-7基准测试中表现领先，验证了CultureSynth的有效性。同时，实验还发现，模型规模是影响文化能力的关键因素，至少需要30亿参数的模型才能达到基本文化能力。此外，不同架构的模型在知识处理方面存在差异，且模型在不同地理区域的表现也存在显著差异。

🎯 应用场景

CultureSynth框架可应用于开发具有文化意识的AI系统，例如多语言聊天机器人、跨文化交流助手和全球化产品推荐系统。通过提升LLM的文化理解能力，可以减少文化误解和偏见，促进跨文化交流与合作，并为用户提供更个性化、更贴近文化背景的服务。

📄 摘要（原文）

Cultural competence, defined as the ability to understand and adapt to multicultural contexts, is increasingly vital for large language models (LLMs) in global environments. While several cultural benchmarks exist to assess LLMs' cultural competence, current evaluations suffer from fragmented taxonomies, domain specificity, and heavy reliance on manual data annotation. To address these limitations, we introduce CultureSynth, a novel framework comprising (1) a comprehensive hierarchical multilingual cultural taxonomy covering 12 primary and 130 secondary topics, and (2) a Retrieval-Augmented Generation (RAG)-based methodology leveraging factual knowledge to synthesize culturally relevant question-answer pairs. The CultureSynth-7 synthetic benchmark contains 19,360 entries and 4,149 manually verified entries across 7 languages. Evaluation of 14 prevalent LLMs of different sizes reveals clear performance stratification led by ChatGPT-4o-Latest and Qwen2.5-72B-Instruct. The results demonstrate that a 3B-parameter threshold is necessary for achieving basic cultural competence, models display varying architectural biases in knowledge processing, and significant geographic disparities exist across models. We believe that CultureSynth offers a scalable framework for developing culturally aware AI systems while reducing reliance on manual annotation\footnote{Benchmark is available at https://github.com/Eyr3/CultureSynth.}.