Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency

📄 arXiv: 2605.22137v1 📥 PDF

作者: Andrew Ivan Soegeng, Patrick Sutanto, Tan Sang Nguyen

分类: cs.CL

发布日期: 2026-05-21

备注: Accepted to The 1st Workshop on Multilinguality in the Era of Large Language Models

💡 一句话要点

提出跨语言共识框架，通过多语言自洽性对齐多语言文化知识，提升大语言模型文化敏感性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言学习 文化知识对齐 多语言自洽性 自监督学习 大语言模型 文化敏感性 知识迁移

📋 核心要点

  1. 现有大语言模型在跨语言任务中存在文化知识偏差，英语提示易导致西方中心偏见，无法充分利用其他语言中蕴含的文化知识。
  2. 论文提出一种自监督框架，利用多语言自洽性来识别可靠的文化响应，并通过自批判机制将知识迁移到弱势语言。
  3. 实验表明，该方法在BLEnD基准测试中，仅使用自生成数据，就使英语查询的性能平均提高了5.03%，显著提升了文化对齐能力。

📝 摘要（中文）

大型语言模型(LLMs)在各种任务中表现出强大的能力，但在不同语言之间存在显著的性能差异。虽然用英语提示LLMs通常会产生最高的通用性能，但它往往会诱发一种以西方为中心的偏见，从而阻碍模型准确反映多样化的文化知识。我们假设LLMs已经在本地语言表示中嵌入了丰富的文化知识，但当用英语提示时，无法检索到这些知识。为了弥合这种跨语言的知识差距，我们提出了一种新的自监督框架。我们的方法利用多语言自洽性来识别跨语言中最可靠的文化响应，并结合自我批判机制将这些知识转移到较弱的语言。在BLEnD基准上的评估表明，我们的方法显著提高了文化对齐——完全依赖于自我生成的数据，使英语查询的性能平均提高了5.03%。最终，我们的工作表明，潜在的文化知识可以成功地浮出水面并在语言之间传播，从而实现更具文化公平性和一致性的LLMs。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在跨语言场景下，由于英语提示带来的文化知识偏差问题。现有方法主要依赖于英语prompt，导致模型无法有效利用其他语言中蕴含的文化知识，从而产生以西方为中心的偏见。这种偏见限制了模型在文化敏感型任务中的表现，阻碍了其在多文化环境中的应用。

核心思路：论文的核心思路是利用多语言自洽性来挖掘和对齐不同语言中的文化知识。作者假设，即使在英语prompt下表现不佳，LLM在其他语言中仍然蕴含着丰富的文化知识。通过让模型生成多种语言的答案，并利用自洽性原则筛选出最可靠的文化响应，从而克服英语prompt的局限性。

技术框架：该框架主要包含两个阶段：1) 多语言自洽性评估：对同一问题，使用多种语言的prompt，让LLM生成多个答案。然后，利用某种一致性度量（具体方法未知）来评估这些答案之间的自洽性，选择最可靠的答案作为“黄金标准”。2) 自批判知识迁移：利用“黄金标准”答案，对在英语prompt下表现较差的模型进行微调或知识蒸馏，使其能够更好地理解和生成文化相关的答案。

关键创新：该论文的关键创新在于利用多语言自洽性作为一种自监督信号，来挖掘和对齐LLM中不同语言的文化知识。与以往依赖人工标注或翻译的方法不同，该方法完全依赖于模型自身生成的数据，降低了成本，并避免了人工干预可能带来的偏差。

关键设计：论文的关键设计包括：1) 多语言prompt的选择策略（具体策略未知）。2) 自洽性度量的选择，如何定义和计算不同语言答案之间的一致性。3) 知识迁移的具体方法，例如使用对比学习或生成对抗网络等技术，将“黄金标准”答案的知识迁移到英语模型中。4) 损失函数的设计，如何有效地利用自洽性信号来优化模型。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法在BLEnD基准测试中，仅使用自生成数据，就使英语查询的性能平均提高了5.03%。这一显著提升表明，该方法能够有效地挖掘和利用LLM中蕴含的潜在文化知识，并将其迁移到弱势语言中，从而提高模型的文化敏感性和跨语言能力。

🎯 应用场景

该研究成果可应用于提升多语言聊天机器人、跨文化内容推荐系统、以及全球化教育平台等领域。通过提高模型对不同文化的理解和尊重，可以构建更加公平、包容和个性化的AI应用，促进跨文化交流与合作，并减少文化误解和冲突。

📄 摘要（原文）

Although Large Language Models (LLMs) demonstrate strong capabilities across various tasks, they exhibit significant performance discrepancies across languages. While prompting LLMs in English typically yields the highest general performance, it often induces a Western-centric bias, hindering the model's ability to accurately reflect diverse cultural knowledge. We hypothesize that LLMs already possess rich cultural knowledge embedded within local-language representations, but fail to retrieve it when prompted in English. To bridge this cross-lingual knowledge gap, we propose a novel self-supervised framework. Our method leverages multilingual self-consistency to identify the most reliable cultural responses across languages, combined with a self-critique mechanism to transfer this knowledge to the weaker language. Evaluations on the BLEnD benchmark demonstrate that our approach significantly improves cultural alignment-boosting performance on English queries by an average of 5.03%-relying entirely on self-generated data. Ultimately, our work demonstrates that latent cultural knowledge can be successfully surfaced and propagated across languages, enabling more culturally equitable and consistent LLMs.