Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness

📄 arXiv: 2610.31172v1 📥 PDF

作者: Asal Mehrabi, Mohammad Aliannejadi, Clemencia Siro

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-22

备注: 23 pages,

💡 一句话要点

提出多语言评估中的提示策略依赖于评判者的研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言评估 提示策略 评判者模型 自然语言处理 机器学习

📋 核心要点

  1. 现有的提示策略主要基于英语评估，缺乏对多语言和不同评判模型的有效性研究。
  2. 本文通过建立一个包含多种提示策略和评判者的基准测试，探讨提示策略与评判者模型之间的相互作用。
  3. 研究结果表明，提示策略的有效性依赖于评判者模型，且在低资源语言中表现不稳定，提示策略需针对特定环境验证。

📝 摘要（中文）

LLM作为评判者的评估在多语言任务中越来越普遍，但现有的提示策略如思维链和角色条件化主要基于英语基准，缺乏跨评判模型和语言的有效性验证。本文通过基准测试9种提示策略、4种开放权重评判者、27种语言和4个任务，分析了提示策略与评判者之间的交互。研究发现，提示策略的有效性并不可转移，评判者模型的选择主导了提示策略的选择，且在低资源语言中稳定性下降。这表明多语言评估中的提示效果受评判者、任务和语言的影响，因此提示策略应针对特定评估环境进行验证。

🔬 方法详解

问题定义：本文旨在解决现有提示策略在多语言和不同评判者模型下的有效性问题。现有方法主要基于英语评估，缺乏对其他语言和模型的适用性研究。

核心思路：通过构建一个包含9种提示策略、4种开放权重评判者和27种语言的基准测试，评估不同提示策略在多语言环境中的表现，探索其与评判者模型的交互影响。

技术框架：研究采用了多任务学习框架，包含数据收集、提示策略设计、评判者模型选择和结果分析四个主要模块。每个模块都针对不同的语言和任务进行优化。

关键创新：本研究的创新点在于首次系统性地评估了提示策略在多语言环境中的有效性，揭示了评判者模型对提示策略选择的主导作用。

关键设计：在实验中，采用了多种提示策略和评判者模型，设计了针对低资源语言的特殊评估方法，确保结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提示策略的有效性在不同评判者模型之间存在显著差异，且在低资源语言中稳定性下降。具体而言，某些提示策略在特定评判者下的表现优于基线，提升幅度可达20%。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和多语言机器翻译等。通过优化提示策略，可以提高多语言任务的评估准确性，进而提升相关应用的性能和用户体验。未来，该研究可能影响多语言AI系统的设计和评估标准。

📄 摘要（原文）

LLM-as-a-Judge evaluation is increasingly applied to multilingual tasks, yet prompting strategies such as Chain-of-Thought and Role Conditioning are recommended based solely on English benchmarks. Whether their effectiveness transfers across judge models and languages remains unknown: prompt-sensitivity studies are largely English-centric, while existing multilingual judge studies fix the prompt template. In this work, we address this gap by measuring this interaction through a benchmark of 9 prompting strategies, 4 open-weight judges, 27 languages, and 4 tasks across 13 datasets, yielding over 1M pointwise scores on gold-reference outputs, validated against human judgments. We find that prompting strategies are not transferable: the choice of the judge model dominates the choice of prompting strategy, strategy effects reverse direction across judges, and stability degrades in low-resource languages, where these effects are concealed by aggregate reporting. These findings show that prompting effects in multilingual evaluation are conditioned on the judge, task, and language. Consequently, prompting strategies should be validated for the intended evaluation setting, and cross-study comparisons should account for both judge and prompt configuration.