Cross-Lingual LLM-Judge Transfer via Evaluation Decomposition

📄 arXiv: 2603.18557v1 📥 PDF

作者: Ivaxi Sheth, Zeno Jonke, Amin Mantrach, Saab Mansour

分类: cs.CL

发布日期: 2026-03-19

备注: 19 pages

💡 一句话要点

提出基于评估分解的跨语言LLM评判迁移方法，解决多语言评估难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言学习 大型语言模型 自动评估 评估分解 通用标准集

📋 核心要点

  1. 现有LLM评估方法主要针对英语，缺乏多语言支持，且人工标注成本高昂。
  2. 提出基于通用标准集（UCS）的评估分解框架，实现跨语言知识迁移。
  3. 实验表明，该方法在多种语言和模型上，无需目标语言标注即可有效提升性能。

📝 摘要（中文）

随着大型语言模型在各种实际应用中的日益普及，将自动评估扩展到英语以外的其他语言已成为一项关键挑战。现有的评估方法主要集中在英语上，并且由于大多数语言中缺乏人工标注的判断以及标注成本高昂，因此很难将它们应用于其他语言。我们介绍了一种基于分解的评估框架，该框架围绕通用标准集（UCS）构建。UCS包含一组共享的、与语言无关的评估维度，从而产生可解释的中间表示，该表示支持以最少的监督进行跨语言迁移。在多种语言和模型骨干上的多个忠实性任务上的实验表明，与强大的基线相比，该方法始终如一地提高了性能，而无需目标语言的注释。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在跨语言场景下的自动评估问题。现有评估方法主要依赖于英语数据，难以直接应用于其他语言，且在目标语言上进行人工标注成本高昂，限制了LLM在多语言环境下的有效评估和部署。

核心思路：论文的核心思路是将评估过程分解为一组通用的、与语言无关的评估维度，即通用标准集（UCS）。通过在这些维度上进行评估，可以获得一个可解释的中间表示，从而实现跨语言的知识迁移，避免了直接在目标语言上进行标注的需要。

技术框架：该框架包含以下主要步骤：1) 定义通用标准集（UCS），包含一组与语言无关的评估维度，例如准确性、流畅性、相关性等。2) 将源语言（例如英语）的评估数据分解为UCS表示。3) 将UCS表示迁移到目标语言，并使用目标语言的LLM生成评估结果。4) 使用UCS表示对目标语言的LLM生成结果进行评估。

关键创新：该方法最重要的创新点在于提出了基于评估分解的跨语言迁移学习方法，通过引入通用标准集（UCS），实现了语言无关的评估表示，从而避免了对目标语言标注数据的依赖。与直接在目标语言上进行评估的方法相比，该方法具有更高的效率和可扩展性。

关键设计：UCS的设计至关重要，需要选择一组能够有效捕捉LLM生成质量的关键维度，并且这些维度需要具有语言无关性。论文中可能使用了特定的损失函数来训练模型，以确保UCS表示的准确性和一致性。具体的网络结构和参数设置在论文中应该有详细描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个忠实性任务上，无需目标语言标注即可显著提升评估性能，优于现有基线方法。具体的性能提升幅度和对比基线需要在论文中查找具体数据，此处未知。

🎯 应用场景

该研究成果可广泛应用于多语言LLM的自动评估、模型选择和性能优化。例如，可以用于评估LLM在不同语言下的翻译质量、文本生成能力和对话效果。此外，该方法还可以用于构建多语言LLM评估基准，促进多语言LLM技术的发展。

📄 摘要（原文）

As large language models are increasingly deployed across diverse real-world applications, extending automated evaluation beyond English has become a critical challenge. Existing evaluation approaches are predominantly English-focused, and adapting them to other languages is hindered by the scarcity and cost of human-annotated judgments in most languages. We introduce a decomposition-based evaluation framework built around a Universal Criteria Set (UCS). UCS consists of a shared, language-agnostic set of evaluation dimensions, producing an interpretable intermediate representation that supports cross-lingual transfer with minimal supervision. Experiments on multiple faithfulness tasks across languages and model backbones demonstrate consistent improvements over strong baselines without requiring target-language annotations.