To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs

📄 arXiv: 2601.02858v1 📥 PDF

作者: Saurabh Kumar Pandey, Sougata Saha, Monojit Choudhury

分类: cs.CL

发布日期: 2026-01-06

备注: IJCNLP-AACL 2025

💡 一句话要点

提出逆社会人口提示以解决LLMs文化对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化对齐 社会人口提示 逆社会人口提示 偏见评估 个性化推荐 跨文化交流

📋 核心要点

  1. 现有的社会人口提示方法在评估LLMs文化能力时，容易受到多种混淆因素的影响，导致结果难以解释。
  2. 本文提出逆社会人口提示（ISDP），通过让LLMs区分和预测人口代理，旨在克服SDP的局限性。
  3. 实验结果表明，模型在实际用户行为下的表现优于模拟行为，但个体层面的表现差异逐渐减小，显示个性化的局限性。

📝 摘要（中文）

社会人口提示（SDP）通过使用人口代理来提示大型语言模型（LLMs），以生成文化对齐的输出，但常常导致刻板印象和偏见的响应。SDP在评估LLMs的文化能力时受到提示敏感性、解码参数和生成任务固有难度等混淆因素的影响，导致解释困难。为了解决这一问题，本文提出逆社会人口提示（ISDP），通过提示LLMs从实际和模拟用户行为中区分和预测人口代理。使用Goodreads-CSI数据集对四个LLMs进行测试，结果显示模型在实际行为下表现优于模拟行为，然而在个体层面上两者的表现趋于一致，表明个性化的局限性。

🔬 方法详解

问题定义：本文旨在解决现有社会人口提示（SDP）方法在评估LLMs文化对齐时的偏见和混淆因素问题。SDP的局限性在于其对提示敏感性和生成任务的复杂性，使得结果难以解释。

核心思路：提出逆社会人口提示（ISDP），通过提示LLMs从用户行为中区分和预测人口代理，以更准确地评估模型的文化能力，避免生成任务的复杂性带来的偏见。

技术框架：研究使用Goodreads-CSI数据集，包含来自印度、墨西哥和美国用户的书评理解难度，测试四个LLMs（Aya-23、Gemma-2、GPT-4o和LLaMA-3.1）。ISDP的流程包括数据收集、模型训练和性能评估三个主要阶段。

关键创新：ISDP方法的核心创新在于通过区分和预测人口代理来评估LLMs，而不是依赖于生成输出。这一方法与传统的SDP方法本质上不同，能够更好地控制混淆因素。

关键设计：在实验中，设置了不同的解码参数和提示策略，以优化模型在实际和模拟行为下的表现。损失函数的设计考虑了模型对不同用户行为的适应性，确保评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在实际用户行为下的表现优于模拟行为，表明ISDP方法的有效性。尽管在个体层面上两者的表现逐渐接近，但整体上，ISDP提供了更可靠的文化对齐评估方式，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括文化适应性AI系统、个性化推荐引擎和跨文化交流工具。通过改进LLMs的文化对齐能力，可以提升其在多样化用户群体中的表现，促进更公平和无偏见的AI应用。未来，该方法可能在教育、社交媒体和内容生成等领域产生深远影响。

📄 摘要（原文）

Socio-demographic prompting (SDP) - prompting Large Language Models (LLMs) using demographic proxies to generate culturally aligned outputs - often shows LLM responses as stereotypical and biased. While effective in assessing LLMs' cultural competency, SDP is prone to confounding factors such as prompt sensitivity, decoding parameters, and the inherent difficulty of generation over discrimination tasks due to larger output spaces. These factors complicate interpretation, making it difficult to determine if the poor performance is due to bias or the task design. To address this, we use inverse socio-demographic prompting (ISDP), where we prompt LLMs to discriminate and predict the demographic proxy from actual and simulated user behavior from different users. We use the Goodreads-CSI dataset (Saha et al., 2025), which captures difficulty in understanding English book reviews for users from India, Mexico, and the USA, and test four LLMs: Aya-23, Gemma-2, GPT-4o, and LLaMA-3.1 with ISDP. Results show that models perform better with actual behaviors than simulated ones, contrary to what SDP suggests. However, performance with both behavior types diminishes and becomes nearly equal at the individual level, indicating limits to personalization.