ChronoCulture: Evaluating Cultural Awareness Across Time in Large Language Models

📄 arXiv: 2610.20472v1 📥 PDF

作者: Rusali Saha, Nitya Khurana, Ruihong Huang, Kuan-Hao Huang

分类: cs.CL, cs.CY

发布日期: 2026-10-14

备注: 28 pages (8 pages main text). Code: https://github.com/lab-flair/ChronoCulture

💡 一句话要点

提出ChronoCulture以评估大语言模型的文化意识随时间变化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化意识 大语言模型 时间变化 调查数据 动态评估

📋 核心要点

  1. 现有的文化基准将文化视为静态属性，未能反映文化态度随时间的变化，导致模型在捕捉动态文化变化方面存在不足。
  2. ChronoCulture基准通过构建时间对，利用长期调查数据，评估大语言模型在不同时间点对文化态度的理解和预测能力。
  3. 实验结果显示，六个大语言模型在预测国家态度时表现出静态特征，未能有效捕捉态度变化，提示需要改进模型的文化动态感知能力。

📝 摘要（中文）

文化态度和社会规范随着时间的推移而演变，但大多数针对大语言模型的文化基准将文化视为一个静态属性。本文引入ChronoCulture，这是一个基于72个国家的长期调查数据构建的10,360个时间对的基准。每对包含在同一国家的同一调查问题在较早和较新年份的回答分布。研究发现，模型通常能够预测某一时点的国家态度，但未能可靠地捕捉这些态度的变化，且在不同年份的预测结果相对接近，未能反映观察到的变化。这表明模型往往呈现出文化态度的静态图景，强调了评估文化意识随时间变化的必要性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在文化态度预测中未能有效捕捉时间变化的问题。现有方法通常将文化视为静态，导致模型的预测能力受限。

核心思路：论文提出ChronoCulture基准，通过构建时间对的方式，利用长期调查数据，评估模型在不同时间点的文化态度理解能力。这样的设计旨在揭示模型对文化动态变化的敏感性。

技术框架：整体架构包括数据收集、时间对构建、模型评估三个主要模块。数据收集阶段从72个国家的长期调查中提取数据，时间对构建阶段将相同问题在不同年份的回答配对，模型评估阶段则通过对比模型预测与真实回答分布来评估性能。

关键创新：最重要的技术创新点在于引入了时间对的概念，使得文化态度的评估不再是静态的，而是动态的。这与现有方法的本质区别在于强调了时间因素对文化态度的影响。

关键设计：在模型评估中，采用了全人口响应分布作为基准，确保评估的全面性和准确性。同时，实验中对不同年份的预测结果进行了详细分析，以揭示模型在时间维度上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，六个大语言模型在预测文化态度时，尽管能够在某一时点提供准确预测，但在不同年份的预测结果相对接近，未能有效反映文化态度的变化。这表明模型在捕捉文化动态方面存在显著不足，强调了对文化意识进行时间维度评估的必要性。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、文化分析、政策制定以及大语言模型的改进。通过更好地理解文化态度的动态变化，研究者和决策者可以制定更具针对性的策略，促进跨文化交流与理解。未来，ChronoCulture基准有望推动大语言模型在文化敏感性方面的进一步发展。

📄 摘要（原文）

Cultural attitudes and social norms evolve over time, yet most cultural benchmarks for large language models (LLMs) treat culture as a static attribute of a country or region. We introduce ChronoCulture, a benchmark of 10,360 temporal pairs built from longitudinal survey data across 72 countries. Each pair contains the same survey question asked in the same country in an older and a newer year, with full population response distributions as ground truth. Across six LLMs, we find that models can often predict a country's attitudes at one point in time but do not reliably capture how those attitudes change. Their predictions for different years tend to stay close together, failing to capture much of the observed change. Specifying the intended year in the prompt also offers little overall improvement in alignment with survey responses. These findings suggest that models often present a largely static picture of cultural attitudes, highlighting the need to evaluate cultural awareness across time.