The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models

📄 arXiv: 2604.20225v1 📥 PDF

作者: Yilun Liu, Chunguang Zhao, Mengyao Piao, Lingqi Miao, Shimin Tao, Minggui He, Chenxin Liu, Li Zhang, Hongxia Ma, Jiaxin Guo, Chen Liu, Liqun Deng, Jiansheng Wei, Xiaojun Meng, Fanyi Du, Daimeng Wei, Yanghua Xiao

分类: cs.CL

发布日期: 2026-04-22

备注: Accepted by ACL 2026 main

🔗 代码/项目: GITHUB

💡 一句话要点

GaoYao：构建多语言文化能力评测基准，诊断大语言模型全球适用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多语言评估 跨文化评估 基准测试 文化敏感性

📋 核心要点

  1. 现有LLM评测基准缺乏对文化细微差别的深入考察，维度零散，难以全面评估其全球适用性。
  2. GaoYao基准提出统一框架，分层评估LLM的多语言文化能力，并由专家进行高质量本地化和跨文化测试集合成。
  3. 实验结果揭示了LLM在不同地域和任务上的性能差异，为未来研究提供了诊断信息和改进方向。

📝 摘要（中文）

评估大型语言模型（LLMs）的多语言和多元文化能力对于其全球应用至关重要。然而，当前的基准测试面临三个关键限制：（1）评估维度碎片化，常常忽略深层次的文化细微差别；（2）主观任务中依赖低质量机器翻译，导致语言覆盖不足；（3）分析深度不足，缺乏超越简单排名的诊断能力。为了解决这些问题，我们推出了GaoYao，一个包含182.3k个样本、26种语言和51个国家/地区的综合基准。首先，GaoYao提出了一个统一的框架，将评估任务分为三个文化层级（通用多语言、跨文化、单一文化）和九个认知子层级。其次，我们通过专家将主观基准严格本地化为19种语言，并为34种文化合成了跨文化测试集，实现了原生质量的扩展，超越了之前的覆盖范围高达111%。第三，我们对20多个旗舰和紧凑型LLM进行了深入的诊断分析。我们的研究结果揭示了显著的地域性能差异以及任务之间的明显差距，为未来的工作提供了一个可靠的地图。我们发布了该基准（https://github.com/lunyiliu/GaoYao）。

🔬 方法详解

问题定义：现有的大语言模型评测基准在评估其多语言和多元文化能力时存在不足。主要痛点包括：评估维度碎片化，缺乏对深层文化细微差别的考察；依赖低质量的机器翻译进行多语言评估，导致语言覆盖范围不足；分析深度不够，无法提供超越简单排名的诊断信息，难以指导模型改进。

核心思路：GaoYao基准的核心思路是构建一个更全面、更深入、更高质量的多语言文化能力评测框架。通过分层评估、专家本地化和跨文化测试集合成，弥补现有基准的不足，从而更准确地评估LLM的全球适用性。

技术框架：GaoYao基准的整体框架包含三个文化层级和九个认知子层级。三个文化层级分别是：通用多语言层级（评估基础的翻译和语言理解能力）、跨文化层级（评估对不同文化背景的理解和适应能力）、单一文化层级（评估在特定文化背景下的知识和推理能力）。每个层级下又细分为多个认知子层级，例如常识推理、道德判断、文化敏感性等。

关键创新：GaoYao基准的关键创新在于：(1) 提出了一个统一的多语言文化能力评估框架，将评估任务分层分级，从而更全面地考察LLM的能力；(2) 采用专家本地化的方式，将主观基准翻译成多种语言，保证了翻译质量，扩大了语言覆盖范围；(3) 合成了跨文化测试集，用于评估LLM对不同文化的理解和适应能力。

关键设计：GaoYao基准在设计上注重以下几个方面：(1) 任务选择：选择能够反映不同文化层级和认知子层级的任务，例如翻译、问答、常识推理、道德判断等；(2) 数据收集：通过人工标注和合成的方式，构建高质量的多语言文化数据集；(3) 评估指标：采用多种评估指标，包括准确率、BLEU、ROUGE等，从而更全面地评估LLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GaoYao基准对20多个LLM进行了评估，结果显示模型在不同地域和任务上的性能存在显著差异。例如，某些模型在特定语言或文化背景下的表现明显优于其他模型，揭示了模型在多语言文化能力上的不均衡性。此外，实验还发现模型在跨文化任务上的表现普遍较差，表明LLM在理解和适应不同文化方面仍有很大的提升空间。

🎯 应用场景

GaoYao基准可用于评估和提升大语言模型在全球范围内的可用性和适应性。通过诊断模型在不同语言和文化背景下的表现，可以指导模型开发者改进模型的设计和训练，使其更好地服务于全球用户。此外，该基准还可以用于评估不同模型的文化敏感性和偏见，促进负责任的人工智能发展。

📄 摘要（原文）

Evaluating the multilingual and multicultural capabilities of Large Language Models (LLMs) is essential for their global utility. However, current benchmarks face three critical limitations: (1) fragmented evaluation dimensions that often neglect deep cultural nuances; (2) insufficient language coverage in subjective tasks relying on low-quality machine translation; and (3) shallow analysis that lacks diagnostic depth beyond simple rankings. To address these, we introduce GaoYao, a comprehensive benchmark with 182.3k samples, 26 languages and 51 nations/areas. First, GaoYao proposes a unified framework categorizing evaluation tasks into three cultural layers (General Multilingual, Cross-cultural, Monocultural) and nine cognitive sub-layers. Second, we achieve native-quality expansion by leveraging experts to rigorously localize subjective benchmarks into 19 languages and synthesizing cross-cultural test sets for 34 cultures, surpassing prior coverage by up to 111%. Third, we conduct an in-depth diagnostic analysis on 20+ flagship and compact LLMs. Our findings reveal significant geographical performance disparities and distinct gaps between tasks, offering a reliable map for future work. We release the benchmark (https://github.com/lunyiliu/GaoYao).