JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors

📄 arXiv: 2605.26955v1 📥 PDF

作者: Jiho Jin, Junho Myung, Juhyun Oh, Junyeong Park, Rifki Afina Putri, Sunipa Dev, Vinodkumar Prabhakaran, Alice Oh

分类: cs.CL, cs.AI

发布日期: 2026-05-26

💡 一句话要点

JuICE：一个评估LLM在识别文化错误方面能力的基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化错误识别 大型语言模型 多语言数据集 文化基准 LLM评估

📋 核心要点

  1. 现有文化基准将文化视为扁平的事实集合，缺乏对深层文化错误的有效识别能力。
  2. JuICE提出一个多语言数据集，包含文化和语言错误标注，用于评估LLM在识别文化错误方面的能力。
  3. 实验表明，即使是最强的LLM-judge在识别文化错误方面表现不佳，F1值仅为0.52。

📝 摘要（中文）

随着大型语言模型（LLMs）越来越多地部署到世界各地的用户，它们被集成到各种文化背景下的日常任务中，从起草个人通信到集思广益创意。这些任务本质上是文化性的：它们需要语境的适当性、象征性的共鸣以及本地说话者本能地利用的隐含的文化期望，这意味着一个回应在事实上可能是合理的，但对于本地读者来说却明显是错误的。现有的文化基准通过事实验证或规范蕴含方法将文化视为一组扁平的事实，并且在没有检查LLM-as-a-Judge是否能够捕捉到这种深厚的文化错误的情况下就采用了它。为了解决这个差距，我们提出了JuICE（用于识别文化错误的LLM-Judge基准），这是一个多语言数据集，包含7,470个跨度级别的文化和语言错误注释，这些错误存在于长篇LLM响应中。它涵盖了来自四个国家（美国、韩国、印度尼西亚和孟加拉国）的1,050个查询-响应对，包括英语和这些国家的主要语言。使用JuICE，我们发现即使是最强大的LLM-judge在错误的跨度检测任务中也只能达到0.52的F1值。此外，LLM-judge始终会错过当地居民很容易识别的深厚的文化错误。我们的研究结果表明，稳健的文化评估必须超越表面层面的检测，转向能够解释文化意义的深度和情境性的框架。

🔬 方法详解

问题定义：论文旨在解决LLM在跨文化交流中产生文化错误的问题。现有文化基准通常将文化视为一组扁平的事实，缺乏对深层文化背景的理解，导致LLM在生成内容时无法捕捉到细微的文化差异和禁忌。这使得LLM在实际应用中可能产生不恰当甚至冒犯性的内容，影响用户体验和信任度。

核心思路：论文的核心思路是构建一个高质量的多语言数据集，包含丰富的文化错误标注，用于评估和提升LLM在识别文化错误方面的能力。通过对LLM生成的文本进行细粒度的文化错误标注，可以帮助LLM更好地理解不同文化背景下的语境和规范，从而生成更符合文化习惯的内容。

技术框架：JuICE数据集构建流程主要包括以下几个阶段：1) 从四个国家（美国、韩国、印度尼西亚和孟加拉国）收集查询-响应对，涵盖英语和当地语言；2) 聘请当地专家对LLM生成的文本进行文化和语言错误标注，标注粒度为跨度级别；3) 对标注数据进行质量控制，确保标注的准确性和一致性；4) 构建评估指标，用于评估LLM在识别文化错误方面的性能。

关键创新：JuICE的关键创新在于：1) 提出了一个多语言、细粒度的文化错误标注数据集，填补了现有文化基准的空白；2) 强调了文化错误的深度和情境性，超越了表面层面的事实验证；3) 提供了一个评估LLM在识别文化错误方面能力的有效工具，为提升LLM的跨文化交流能力提供了基础。

关键设计：JuICE数据集包含7,470个跨度级别的文化和语言错误注释，涵盖1,050个查询-响应对。标注类型包括文化不当、语言错误、事实错误等。评估指标主要采用F1值，用于衡量LLM在错误跨度检测任务中的性能。论文没有详细描述具体的模型结构或损失函数，而是侧重于数据集的构建和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最强大的LLM-judge在JuICE数据集上的F1值仅为0.52，表明LLM在识别深层文化错误方面存在显著不足。LLM-judge经常会错过当地居民很容易识别的文化错误，凸显了现有方法在文化理解方面的局限性。这些结果强调了构建更稳健的文化评估框架的重要性，该框架能够考虑到文化意义的深度和情境性。

🎯 应用场景

该研究成果可应用于提升LLM在跨文化交流场景下的应用能力，例如智能客服、机器翻译、内容生成等。通过利用JuICE数据集进行训练和评估，可以有效提高LLM生成内容的文化敏感性和准确性，避免产生文化冲突和误解，从而提升用户体验和信任度。未来，该研究可以扩展到更多文化和语言，构建更全面的文化知识库，为LLM的全球化应用提供更强大的支持。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed to users around the world, they are integrated into everyday tasks across diverse cultural contexts, from drafting personal communications to brainstorming creative ideas. These tasks are inherently cultural: they require contextual appropriateness, symbolic resonance, and tacit cultural expectations that native speakers draw on instinctively, meaning that a response can be factually plausible yet unmistakably wrong to a local reader. Existing cultural benchmarks have treated culture as a flat set of facts via fact verification or norm entailment methods, and have adopted LLM-as-a-Judge without examining whether they can capture such thick cultural errors. To address this gap, we present JuICE (Benchmark for LLM-Judge in Identifying Cultural Errors), a multilingual dataset of 7,470 span-level annotations of cultural and linguistic errors in long-form LLM responses. It covers 1,050 query-response pairs from four countries (the United States, South Korea, Indonesia, and Bangladesh), in both English and their countries' main languages. Using JuICE, we find that even the strongest LLM-judge achieves only an F1 of 0.52 in the erroneous span detection task. Furthermore, LLM-judges consistently miss thick cultural errors that local residents readily identify. Our findings suggest that robust cultural evaluation must move beyond surface-level detection toward frameworks that account for the depth and situatedness of cultural meaning.