Nunchi-Bench: Benchmarking Language Models on Cultural Reasoning with a Focus on Korean Superstition

📄 arXiv: 2507.04014v1 📥 PDF

作者: Kyuhee Kim, Sangah Lee

分类: cs.CL, cs.AI, cs.CY

发布日期: 2025-07-05

💡 一句话要点

Nunchi-Bench：提出针对韩国迷信文化的LLM文化推理能力评测基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化推理 大型语言模型 韩国迷信 基准测试 文化敏感性

📋 核心要点

  1. 现有LLM在多元文化环境中缺乏足够的文化敏感性和推理能力，尤其是在理解特定文化背景下的细微差别方面存在挑战。
  2. Nunchi-Bench基准通过构建包含韩国迷信等文化元素的问答数据集，评估LLM在事实知识、文化适应性建议和情境理解方面的能力。
  3. 实验结果表明，LLM在文化推理方面存在显著挑战，尤其是在实际应用文化知识方面，并且明确的文化框架提示比仅使用特定语言提示更有效。

📝 摘要（中文）

随着大型语言模型（LLMs）在各个领域成为关键顾问，它们在多元文化环境中的文化敏感性和推理能力至关重要。我们推出了Nunchi-Bench，这是一个旨在评估LLMs文化理解能力的基准，重点关注韩国迷信。该基准包含247个问题，涵盖31个主题，评估事实知识、文化上适当的建议和情境解释。我们用韩语和英语评估了多语言LLMs，以分析它们推理韩国文化背景的能力，以及语言变化如何影响性能。为了系统地评估文化推理，我们提出了一种新颖的评估策略，采用定制的评分指标，以捕捉模型识别文化细微差别并做出适当反应的程度。我们的研究结果突出了LLMs在文化推理方面面临的重大挑战。虽然模型通常可以识别事实信息，但它们难以在实际场景中应用这些信息。此外，明确的文化框架比仅仅依赖提示的语言更能有效地提高性能。为了支持进一步的研究，我们公开发布Nunchi-Bench以及排行榜。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在文化推理方面的不足，特别是在理解和应用特定文化背景下的知识时遇到的困难。现有方法缺乏对文化细微差别的敏感性，难以在多元文化环境中提供适当的建议和解释。论文聚焦于韩国迷信文化，构建评测基准来量化LLM的文化理解能力。

核心思路：论文的核心思路是构建一个包含丰富文化背景知识的问答数据集，并设计一套定制化的评估指标，以系统地评估LLM在文化推理方面的能力。通过分析LLM在不同语言和提示策略下的表现，揭示其在文化理解方面的局限性，并为未来的研究提供指导。

技术框架：Nunchi-Bench基准测试框架主要包含以下几个阶段：1) 数据集构建：收集并整理与韩国迷信相关的知识，构建包含247个问题的数据集，涵盖31个主题。2) 模型评估：使用多种多语言LLM（包括韩语和英语模型）对数据集进行测试，评估其在事实知识、文化适应性建议和情境理解方面的表现。3) 评估指标设计：设计定制化的评分指标，以捕捉模型识别文化细微差别并做出适当反应的程度。4) 结果分析：分析模型在不同类型问题和提示策略下的表现，识别其在文化推理方面的优势和不足。

关键创新：论文的关键创新在于：1) 提出了Nunchi-Bench，一个专门用于评估LLM在韩国文化背景下推理能力的基准。2) 设计了定制化的评估指标，能够更准确地衡量模型对文化细微差别的理解和应用。3) 系统地分析了LLM在不同语言和提示策略下的表现，揭示了其在文化推理方面的局限性。

关键设计：Nunchi-Bench数据集包含三种类型的问题：事实知识、文化适应性建议和情境理解。评估指标包括准确率、文化敏感度得分和情境理解得分。实验中，使用了多种多语言LLM，并采用了不同的提示策略，包括明确的文化框架提示和仅使用特定语言提示。通过对比不同模型和提示策略的表现，分析了LLM在文化推理方面的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在文化推理方面存在显著挑战，尽管模型通常可以识别事实信息，但它们难以在实际场景中应用这些信息。明确的文化框架提示比仅仅依赖提示的语言更能有效地提高性能。例如，在某些任务上，使用明确的文化背景描述的提示，模型的准确率提升了10%-20%。

🎯 应用场景

该研究成果可应用于开发更具文化敏感性和适应性的AI系统，例如智能客服、文化交流助手和教育机器人。通过提高LLM对不同文化的理解能力，可以减少文化误解和冲突，促进跨文化交流与合作。此外，该基准可以作为评估和改进LLM文化推理能力的工具，推动相关技术的发展。

📄 摘要（原文）

As large language models (LLMs) become key advisors in various domains, their cultural sensitivity and reasoning skills are crucial in multicultural environments. We introduce Nunchi-Bench, a benchmark designed to evaluate LLMs' cultural understanding, with a focus on Korean superstitions. The benchmark consists of 247 questions spanning 31 topics, assessing factual knowledge, culturally appropriate advice, and situational interpretation. We evaluate multilingual LLMs in both Korean and English to analyze their ability to reason about Korean cultural contexts and how language variations affect performance. To systematically assess cultural reasoning, we propose a novel evaluation strategy with customized scoring metrics that capture the extent to which models recognize cultural nuances and respond appropriately. Our findings highlight significant challenges in LLMs' cultural reasoning. While models generally recognize factual information, they struggle to apply it in practical scenarios. Furthermore, explicit cultural framing enhances performance more effectively than relying solely on the language of the prompt. To support further research, we publicly release Nunchi-Bench alongside a leaderboard.