M-IFEval: Multilingual Instruction-Following Evaluation

📄 arXiv: 2502.04688v1 📥 PDF

作者: Antoine Dussolle, Andrea Cardeña Díaz, Shota Sato, Peter Devine

分类: cs.CL, cs.AI

发布日期: 2025-02-07

💡 一句话要点

提出M-IFEval多语言指令跟随评估基准，扩展LLM评估至法语、日语和西班牙语。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言评估 指令跟随 大型语言模型 自然语言处理 基准测试

📋 核心要点

  1. 现有指令跟随评估基准IFEval仅支持英语，无法全面评估LLM的多语言能力。
  2. M-IFEval基准扩展了IFEval，增加了法语、日语和西班牙语的指令，覆盖通用和特定语言场景。
  3. 实验表明，不同LLM在不同语言和指令类型上的表现差异显著，强调了多语言评估的必要性。

📝 摘要（中文）

指令跟随是现代大型语言模型（LLMs）的一项核心能力，评估此能力对于理解这些模型至关重要。文献中的指令跟随评估（IFEval）基准通过客观标准实现了这一点，无需主观AI或人工判断即可衡量LLM的性能。然而，它仅包含英语指令，限制了其评估其他语言LLM的能力。我们提出了多语言指令跟随评估（M-IFEval）基准，将评估扩展到法语、日语和西班牙语，包括通用和特定于语言的指令。将此基准应用于8个最先进的LLM，我们发现跨语言和指令类型的基准性能可能差异很大，突显了多语言基准对于在多元文化背景下评估LLM的重要性。

🔬 方法详解

问题定义：现有指令跟随评估基准主要集中在英语上，缺乏对LLM在其他语言环境中指令理解和执行能力的全面评估。这限制了我们对LLM多语言能力的理解，也无法充分挖掘LLM在不同文化背景下的潜力。现有方法无法有效衡量LLM在处理非英语指令时的性能差异，以及特定语言文化背景对指令理解的影响。

核心思路：M-IFEval的核心思路是构建一个多语言的指令跟随评估基准，通过包含法语、日语和西班牙语的指令，更全面地评估LLM的指令跟随能力。该基准不仅包含通用的指令，还包括特定于语言的指令，以考察LLM对不同文化背景下指令的理解和执行能力。通过多语言评估，可以更准确地了解LLM的优势和不足，并指导模型在多语言环境下的优化。

技术框架：M-IFEval基准的构建主要包括以下几个阶段：1）指令收集：收集涵盖通用场景和特定语言文化背景的指令，确保指令的多样性和代表性。2）指令翻译：将指令翻译成法语、日语和西班牙语，保证翻译的准确性和流畅性。3）评估指标设计：采用客观的评估指标，衡量LLM在不同语言和指令类型上的性能。4）模型评估：将基准应用于多个LLM，评估其在不同语言和指令类型上的表现。5）结果分析：分析评估结果，揭示LLM在多语言指令跟随方面的优势和不足。

关键创新：M-IFEval最重要的技术创新点在于其多语言特性，它打破了现有指令跟随评估基准仅支持英语的局限，将评估扩展到法语、日语和西班牙语。此外，M-IFEval还包含了特定于语言的指令，可以更全面地评估LLM在不同文化背景下的指令理解能力。与现有方法相比，M-IFEval能够更准确地反映LLM在多语言环境下的性能，并为模型优化提供更有效的指导。

关键设计：M-IFEval的关键设计包括：1）指令的多样性：指令涵盖了各种场景和任务，包括问答、生成、翻译等。2）语言的平衡性：法语、日语和西班牙语的指令数量大致相同，确保评估的公平性。3）评估指标的客观性：采用BLEU、ROUGE等客观指标，避免主观判断带来的偏差。4）模型的选择：选择了8个最先进的LLM进行评估，包括不同架构和规模的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同LLM在不同语言和指令类型上的表现差异显著。例如，某些模型在英语指令上表现出色，但在法语或日语指令上性能下降。此外，特定于语言的指令对LLM提出了更高的挑战，某些模型难以准确理解和执行这些指令。这些结果突显了多语言评估的必要性，并为模型优化提供了重要的参考。

🎯 应用场景

M-IFEval基准可用于评估和比较不同LLM的多语言指令跟随能力，指导模型在多语言环境下的优化。该基准可应用于机器翻译、跨语言信息检索、多语言对话系统等领域，提升LLM在多元文化环境下的应用效果。未来，可以进一步扩展M-IFEval，支持更多语言和更复杂的指令，构建更全面的多语言评估体系。

📄 摘要（原文）

Instruction following is a core capability of modern Large language models (LLMs), making evaluating this capability essential to understanding these models. The Instruction Following Evaluation (IFEval) benchmark from the literature does this using objective criteria, offering a measure of LLM performance without subjective AI or human judgement. However, it only includes English instructions, limiting its ability to assess LLMs in other languages. We propose the Multilingual Instruction Following Evaluation (M-IFEval) benchmark, expanding the evaluation to French, Japanese, and Spanish, with both general and language-specific instructions. Applying this benchmark to 8 state-of-the-art LLMs, we find that benchmark performance across languages and instruction types can vary widely, underscoring the importance of a multilingual benchmark for evaluating LLMs in a diverse cultural context.