Prompt Programming for Cultural Bias and Alignment of Large Language Models

📄 arXiv: 2603.16827v1 📥 PDF

作者: Maksim Eren, Eric Michalak, Brian Cook, Johnny Seales

分类: cs.AI, cs.CL

发布日期: 2026-03-17

备注: 10 pages, pre-print

💡 一句话要点

提出基于DSPy的提示编程方法，用于优化大语言模型的文化偏见与对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化偏见 文化对齐 提示工程 DSPy 提示优化 开放权重模型

📋 核心要点

  1. 大型语言模型存在文化偏见，导致其决策与特定文化群体价值观不符，影响下游任务的准确性。
  2. 利用DSPy框架，将提示视为可优化的程序，通过优化文化距离目标，系统地调整提示以实现文化对齐。
  3. 实验表明，基于DSPy的提示优化方法通常优于人工设计的文化提示，为文化对齐提供更稳定和可迁移的方案。

📝 摘要（中文）

文化塑造了推理、价值观、优先级和战略决策，但大型语言模型（LLMs）常常表现出与目标人群不一致的文化偏见。随着LLMs越来越多地用于战略决策、政策支持和文档工程任务（如摘要、分类和合规性审计），改善文化对齐对于确保下游分析和建议反映目标人群的价值取向而非模型默认先验至关重要。先前的工作提出了一个基于调查的文化对齐框架，并表明特定文化的提示可以减少错位，但它主要评估专有模型并依赖于手动提示工程。在本文中，我们通过在开放权重LLMs上重现其基于社会科学调查的投影和距离度量来验证和扩展该框架，测试文化倾斜和文化调节的好处是否在封闭LLM系统之外仍然存在。在此基础上，我们引入了使用DSPy进行提示编程的方法来解决这个问题——将提示视为模块化的、可优化的程序——通过优化文化距离目标来系统地调整文化调节。在我们的实验中，我们表明提示优化通常优于文化提示工程，这表明使用DSPy进行提示编译可以为文化对齐的LLM响应提供更稳定和可转移的途径。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中存在的文化偏见问题，这些偏见导致LLMs在战略决策、政策支持等任务中产生与目标人群价值观不符的结果。现有方法主要依赖于手动提示工程，效率低且难以保证效果，同时缺乏在开放权重模型上的验证。

核心思路：论文的核心思路是将提示工程视为一个优化问题，利用DSPy框架将提示视为模块化的、可优化的程序。通过定义文化距离目标，并使用DSPy优化器自动搜索最佳提示，从而实现LLMs的文化对齐。这种方法旨在克服手动提示工程的局限性，并提供一种更系统、更可迁移的文化对齐方案。

技术框架：该方法主要包含以下几个阶段：1) 使用社会科学调查数据构建文化价值向量空间；2) 定义文化距离度量，用于衡量LLM输出与目标文化之间的差异；3) 使用DSPy框架将提示表示为可优化的程序，其中包含多个模块化的提示组件；4) 使用DSPy优化器，以文化距离为目标函数，自动搜索最佳提示配置；5) 在开放权重LLMs上进行实验验证，评估优化后的提示在文化对齐方面的效果。

关键创新：该论文的关键创新在于将提示工程与程序优化相结合，利用DSPy框架实现提示的自动优化。与传统的手动提示工程相比，该方法更加系统、高效，并且能够更好地利用LLMs的潜力。此外，该论文还在开放权重LLMs上验证了该方法的有效性，表明其具有更广泛的适用性。

关键设计：论文的关键设计包括：1) 使用社会科学调查数据（具体调查类型未知）构建文化价值向量空间，用于量化不同文化之间的差异；2) 定义合适的文化距离度量（具体度量方式未知），用于衡量LLM输出与目标文化之间的差异；3) 使用DSPy框架提供的优化器（具体优化算法未知）自动搜索最佳提示配置，以最小化文化距离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于DSPy的提示优化方法在文化对齐方面优于人工设计的文化提示。具体而言，通过优化提示，LLM的输出与目标文化的距离显著减小（具体数值提升未知），表明该方法能够有效减少文化偏见，提高LLM的文化适应性。该结果在开放权重LLMs上得到验证，表明该方法具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于多个领域，例如：在跨文化交流中，帮助LLM生成更符合当地文化习惯的内容；在政策制定中，确保LLM提供的建议与目标人群的价值观相符；在教育领域，帮助LLM提供更具文化敏感性的教学内容。该研究有助于提高LLM的可靠性和公平性，促进其在不同文化背景下的应用。

📄 摘要（原文）

Culture shapes reasoning, values, prioritization, and strategic decision-making, yet large language models (LLMs) often exhibit cultural biases that misalign with target populations. As LLMs are increasingly used for strategic decision-making, policy support, and document engineering tasks such as summarization, categorization, and compliance-oriented auditing, improving cultural alignment is important for ensuring that downstream analyses and recommendations reflect target-population value profiles rather than default model priors. Previous work introduced a survey-grounded cultural alignment framework and showed that culture-specific prompting can reduce misalignment, but it primarily evaluated proprietary models and relied on manual prompt engineering. In this paper, we validate and extend that framework by reproducing its social sciences survey based projection and distance metrics on open-weight LLMs, testing whether the same cultural skew and benefits of culture conditioning persist outside closed LLM systems. Building on this foundation, we introduce use of prompt programming with DSPy for this problem-treating prompts as modular, optimizable programs-to systematically tune cultural conditioning by optimizing against cultural-distance objectives. In our experiments, we show that prompt optimization often improves upon cultural prompt engineering, suggesting prompt compilation with DSPy can provide a more stable and transferable route to culturally aligned LLM responses.