XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks

📄 arXiv: 2605.30788v1 📥 PDF

作者: Purvam Jain, Preethi Jyothi, Vihari Piratla, Suvrat Raju

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-05-29

备注: 8+37pages

💡 一句话要点

XLGoBench：提出算法任务集以检测大语言模型跨语言能力差距

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言能力 算法任务 大语言模型 基准测试 多语言评估

📋 核心要点

  1. 现有大语言模型在跨语言能力上存在差距，难以有效评估和诊断。
  2. 提出XLGoBench，利用合成算法任务，在多语言环境下对模型能力进行统一评估。
  3. 实验表明，该基准测试能够有效揭示现有模型在跨语言理解和推理方面的不足。

📝 摘要（中文）

本文提出了一组合成算法任务，用于检测大型语言模型在能力上的跨语言差距。我们的基准测试在不同语言之间是相称的，因为它要求模型在不同语言中执行相同的底层任务；是可扩展的，因为每个任务都可以在不同的复杂程度下生成，从而使其能够适应具有不同能力的模型；是可量化的，因为每个任务都允许对正确性进行客观的衡量；并且是透明的，因为任务是从简单的模板生成的，可以很容易地审核翻译错误。由于我们的基准测试侧重于算法任务，因此差异化的性能是跨语言差距的充分（但非必要）指标。尽管如此，我们通过广泛的实验表明，我们的基准测试揭示了多个最先进模型中持续存在的跨语言差距。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在跨语言能力上的评估问题。现有方法难以有效量化和诊断模型在不同语言环境下的性能差异，尤其是在算法推理等复杂任务上。现有的跨语言评估方法通常依赖于翻译后的自然语言数据集，这引入了额外的翻译误差，使得评估结果难以解释。

核心思路：论文的核心思路是设计一套与语言无关的合成算法任务。这些任务在不同语言中具有相同的逻辑结构，从而可以公平地比较模型在不同语言环境下的表现。通过控制任务的复杂度和难度，可以对模型的算法推理能力进行细粒度的评估。

技术框架：XLGoBench包含一系列算法任务生成器，每个生成器对应一个特定的算法任务类型（例如，排序、搜索、字符串操作等）。每个任务生成器可以根据预定义的模板，生成不同复杂度的任务实例。这些任务实例被翻译成多种语言，形成跨语言的评估数据集。模型的性能通过在不同语言的任务实例上的准确率来衡量。

关键创新：该方法最重要的创新在于使用合成算法任务来评估跨语言能力，避免了自然语言翻译带来的误差。此外，该基准测试具有可扩展性，可以根据模型的不同能力水平调整任务的复杂度。任务的透明性使得可以容易地审核翻译错误，并确保评估的公平性。

关键设计：任务生成器使用简单的模板来生成任务实例，例如，排序任务可以生成不同长度和数值范围的列表。任务的复杂度可以通过调整列表的长度和数值范围来控制。翻译过程使用高质量的机器翻译模型，并进行人工审核，以确保翻译的准确性。评估指标主要使用准确率，即模型正确完成任务的比例。

📊 实验亮点

实验结果表明，XLGoBench能够有效揭示现有最先进模型在跨语言能力上的差距。例如，在某些算法任务上，模型在英语上的准确率远高于其他语言，表明模型存在明显的语言偏见。该基准测试为跨语言能力评估提供了一个新的、更可靠的工具。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型的跨语言能力，尤其是在需要多语言支持的自然语言处理任务中，如机器翻译、跨语言信息检索、多语言对话系统等。该基准测试可以帮助研究人员更好地理解模型的跨语言推理能力，并开发更有效的跨语言学习方法。

📄 摘要（原文）

We introduce a set of synthetic algorithmic tasks to detect cross-lingual gaps in the abilities of large language models. Our benchmark is commensurate across languages, since it requires models to perform the same underlying task in different languages; scalable, since each task can be generated at varying levels of complexity allowing it to be adapted to models with different capabilities; quantifiable, since every task admits an objective notion of correctness; and transparent, since tasks are generated from simple templates that can be readily audited for translation errors. Because our benchmark focuses on algorithmic tasks, differential performance is a sufficient -- but not necessary -- indicator of cross-lingual gaps. Nevertheless, we show through extensive experiments that our benchmark exposes persistent cross-lingual gaps in multiple state-of-the-art models.