Best-of-L: Cross-Lingual Reward Modeling for Mathematical Reasoning

📄 arXiv: 2509.15811v1 📥 PDF

作者: Sara Rajaee, Rochelle Choenni, Ekaterina Shutova, Christof Monz

分类: cs.CL, cs.AI

发布日期: 2025-09-19

💡 一句话要点

提出Best-of-L跨语言奖励模型，提升多语言LLM在数学推理中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言学习 奖励模型 数学推理 多语言LLM 自然语言处理

📋 核心要点

  1. 多语言LLM的推理能力在不同语言间存在差异，且不同语言的推理路径可能互补，但现有研究对此关注不足。
  2. 论文提出跨语言奖励模型Best-of-L，通过对跨语言生成的答案进行排序，选出最佳答案，提升推理性能。
  3. 实验表明，该模型显著提升了数学推理性能，即使对于高资源语言如英语，在低采样预算下也能受益。

📝 摘要（中文）

大型语言模型(LLMs)的推理能力不断提升，但多语言LLMs在不同语言中的推理能力差异以及不同语言是否能产生互补的推理路径仍不明确。为了研究这个问题，我们训练了一个奖励模型，用于对给定问题的跨语言生成响应进行排序。结果表明，与在单一语言内使用奖励模型相比，我们的跨语言奖励模型显著提高了数学推理性能，甚至对高资源语言也有益处。虽然英语在多语言模型中通常表现出最高的性能，但我们发现，在低采样预算下，跨语言采样尤其有利于英语。我们的发现揭示了通过利用不同语言的互补优势来提高多语言推理的新机会。

🔬 方法详解

问题定义：论文旨在解决多语言大型语言模型在数学推理任务中，不同语言之间推理能力差异的问题。现有方法通常只关注单一语言内的奖励建模，忽略了不同语言可能提供的互补信息，导致模型性能受限。

核心思路：论文的核心思路是利用跨语言的奖励建模，即训练一个能够评估不同语言生成的答案质量的奖励模型。通过对多种语言生成的答案进行排序，选择最佳答案，从而提升整体的推理性能。这种方法能够充分利用不同语言的优势，弥补单一语言推理的不足。

技术框架：整体框架包括以下几个主要步骤：1) 使用多语言LLM对给定的数学问题生成多种语言的答案；2) 使用跨语言奖励模型对这些答案进行排序，评估其质量；3) 选择奖励最高的答案作为最终结果。该框架的关键在于跨语言奖励模型的训练，该模型需要能够理解和比较不同语言的答案，并给出合理的评分。

关键创新：最重要的技术创新点在于跨语言奖励模型的训练方法。该模型不仅需要学习评估单一语言答案的质量，还需要学习如何比较和排序不同语言的答案。这需要模型具备一定的跨语言理解能力，能够识别不同语言表达的相同含义。

关键设计：论文中可能涉及的关键设计包括：1) 奖励模型的网络结构，例如使用Transformer架构；2) 训练数据的构建方式，例如使用人工标注或自动生成的数据；3) 损失函数的设计，例如使用排序损失或回归损失；4) 采样策略，例如在低采样预算下如何选择更具代表性的语言进行采样。

📊 实验亮点

实验结果表明，所提出的跨语言奖励模型在数学推理任务上取得了显著的性能提升，超越了单一语言奖励模型。尤其是在低采样预算下，英语的性能也得到了提升，表明跨语言采样能够有效利用不同语言的互补优势。具体的性能数据和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于多语言智能助手、跨语言教育平台、以及需要处理多语言信息的金融、法律等领域。通过提升多语言LLM的推理能力，可以更好地服务于全球用户，促进跨文化交流与合作，并为解决复杂问题提供更全面的视角。

📄 摘要（原文）

While the reasoning abilities of large language models (LLMs) continue to advance, it remains unclear how such ability varies across languages in multilingual LLMs and whether different languages produce reasoning paths that complement each other. To investigate this question, we train a reward model to rank generated responses for a given question across languages. Our results show that our cross-lingual reward model substantially improves mathematical reasoning performance compared to using reward modeling within a single language, benefiting even high-resource languages. While English often exhibits the highest performance in multilingual models, we find that cross-lingual sampling particularly benefits English under low sampling budgets. Our findings reveal new opportunities to improve multilingual reasoning by leveraging the complementary strengths of diverse languages.