Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate

📄 arXiv: 2505.21999v1 📥 PDF

作者: Ashim Gupta, Maitrey Mehta, Zhichao Xu, Vivek Srikumar

分类: cs.CL

发布日期: 2025-05-28

💡 一句话要点

提出一种基于翻译和评估的框架，用于衡量多语言LLM在不同语言间的一致性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言LLM 跨语言一致性 翻译评估 语言模型评估 自然语言处理

📋 核心要点

  1. 现有评估LLM多语言能力的方法依赖于昂贵的标注数据集，且难以评估开放式生成任务。
  2. 论文提出“翻译然后评估”策略，通过衡量模型在不同语言间响应的可预测性来评估跨语言一致性。
  3. 实验结果表明，现有LLM在不同语言间存在显著不一致性，尤其是在某些语系和文字中表现较差。

📝 摘要（中文）

大型语言模型（LLM）能够用英语对查询给出详细且令人印象深刻的回答。然而，它们在用其他语言回答相同查询时是否真正保持一致？评估LLM多语言性能的常用方法需要耗费大量资源收集带标注的数据集。此外，评估开放式生成等任务（其中可能存在多个正确答案）并非易事。因此，我们提出评估模型在不同语言之间响应的可预测性。在这项工作中，我们提出了一个框架，用于基于简单的“翻译然后评估”策略来评估LLM的跨语言一致性。我们沿着信息和同理心这两个维度实例化了这个评估框架。我们的结果揭示了流行的LLM响应在三十种语言中存在显著的不一致性，某些语系和文字的表现严重不足，突显了它们多语言能力的严重缺陷。这些发现表明需要沿着多个维度进行一致的跨语言评估。我们邀请从业者使用我们的框架进行未来的多语言LLM基准测试。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理多语言任务时，跨语言一致性难以有效评估的问题。现有方法主要依赖于人工标注的多语言数据集，成本高昂且难以覆盖所有语言和任务类型，尤其是在开放式生成任务中，评估标准难以统一。因此，如何低成本、高效地评估LLM在不同语言之间处理相同语义信息时的一致性成为一个挑战。

核心思路：论文的核心思路是利用“翻译然后评估”的策略，通过将同一问题翻译成多种语言，然后评估LLM在这些语言下的回答是否一致。这种方法避免了直接依赖大规模标注数据集，而是通过考察模型在不同语言环境下对同一语义信息的理解和表达能力，来间接评估其跨语言一致性。核心在于假设一个理想的多语言LLM应该能够对同一语义信息给出在不同语言下语义一致的回答。

技术框架：该框架主要包含以下几个步骤：1) 选择需要评估的LLM和目标语言集合；2) 准备一系列问题，这些问题需要覆盖不同的主题和任务类型（例如，信息检索、情感分析等）；3) 将这些问题翻译成目标语言集合中的每一种语言；4) 使用LLM对每种语言的问题进行回答；5) 使用一致性评估指标来衡量LLM在不同语言下的回答是否一致。一致性评估指标可以包括信息一致性（例如，回答中包含的关键信息是否一致）和情感一致性（例如，回答中表达的情感倾向是否一致）。

关键创新：该论文的关键创新在于提出了一种简单有效的跨语言一致性评估框架，该框架不需要大规模的人工标注数据集，而是通过“翻译然后评估”的策略，将跨语言一致性评估问题转化为模型在不同语言环境下对同一语义信息的理解和表达能力评估问题。这种方法降低了评估成本，提高了评估效率，并且可以应用于各种不同的任务类型。

关键设计：论文的关键设计包括：1) 选择了信息一致性和情感一致性作为评估LLM跨语言一致性的两个主要维度；2) 设计了相应的评估指标来衡量信息一致性和情感一致性；3) 实验中选择了30种语言进行评估，并分析了不同语系和文字对LLM性能的影响。具体的参数设置、损失函数、网络结构等技术细节取决于所评估的LLM本身，该框架主要关注的是评估流程和评估指标的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，流行的LLM在30种语言中存在显著的不一致性，尤其是在某些语系和文字中表现较差。例如，某些语言的信息一致性得分比英语低20%以上，情感一致性也存在类似差距。这些结果突显了现有LLM在多语言能力方面的不足，并验证了该评估框架的有效性。

🎯 应用场景

该研究成果可应用于多语言LLM的开发和评估，帮助开发者识别模型在不同语言间的性能差异和潜在缺陷，从而改进模型的多语言能力。此外，该框架还可用于评估机器翻译系统的质量，以及在跨语言信息检索、多语言对话系统等领域提供技术支持。未来，该方法有望促进更公平、更普惠的多语言AI应用。

📄 摘要（原文）

Large language models (LLMs) provide detailed and impressive responses to queries in English. However, are they really consistent at responding to the same query in other languages? The popular way of evaluating for multilingual performance of LLMs requires expensive-to-collect annotated datasets. Further, evaluating for tasks like open-ended generation, where multiple correct answers may exist, is nontrivial. Instead, we propose to evaluate the predictability of model response across different languages. In this work, we propose a framework to evaluate LLM's cross-lingual consistency based on a simple Translate then Evaluate strategy. We instantiate this evaluation framework along two dimensions of consistency: information and empathy. Our results reveal pronounced inconsistencies in popular LLM responses across thirty languages, with severe performance deficits in certain language families and scripts, underscoring critical weaknesses in their multilingual capabilities. These findings necessitate cross-lingual evaluations that are consistent along multiple dimensions. We invite practitioners to use our framework for future multilingual LLM benchmarking.