TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning

📄 arXiv: 2603.25419v1 📥 PDF

作者: Xu Huang, Zhejian Lai, Zixian Huang, Jiajun Chen, Shujian Huang

分类: cs.CL

发布日期: 2026-03-26

💡 一句话要点

提出TAPO：一种翻译增强策略优化方法，提升LLM在多语言数学推理中的能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言数学推理 翻译增强 策略优化 强化学习 语言理解 大型语言模型 跨语言处理

📋 核心要点

  1. 现有大型语言模型在多语言数学推理中表现不佳，主要瓶颈在于跨语言理解能力不足。
  2. TAPO框架利用英语作为桥梁，通过翻译增强策略优化，显式地对齐语言理解和推理过程。
  3. 实验表明，TAPO能有效提升多语言数学推理和翻译性能，并具备良好的泛化能力。

📝 摘要（中文）

大型语言模型(LLMs)在英语数学推理方面表现出了卓越的能力，但在多语言环境中仍然存在显著的性能差距，这主要归因于语言理解方面的不足。为了弥合这一差距，我们引入了翻译增强策略优化(TAPO)，这是一个建立在GRPO之上的新型强化学习框架。TAPO实施了一种显式的对齐策略，模型利用英语作为枢纽，遵循“理解-然后-推理”的范式。至关重要的是，我们采用了一种步级相对优势机制，将理解与推理分离，从而可以在不引入优化冲突的情况下整合翻译质量奖励。广泛的实验表明，TAPO有效地协同了语言理解和推理能力，并且与各种模型兼容。它在多语言数学推理和翻译任务中都优于基线方法，同时很好地推广到未见过的语言和领域外任务。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在多语言数学推理任务中表现不佳的问题。现有方法在处理非英语数学问题时，由于语言理解能力的限制，导致推理性能显著下降。痛点在于模型难以有效利用其他语言的数学知识进行推理。

核心思路：论文的核心思路是利用翻译作为桥梁，将多语言数学问题翻译成英语，然后利用模型强大的英语推理能力进行求解。通过显式地将语言理解（翻译）和推理过程分离，并分别进行优化，从而提升整体性能。这种“理解-然后-推理”的范式旨在克服直接在非英语语境下进行推理的困难。

技术框架：TAPO框架基于GRPO（未知，原文未给出全称）构建，主要包含以下几个阶段：1) 将非英语数学问题翻译成英语；2) 利用大型语言模型在英语语境下进行推理；3) 将推理结果翻译回原始语言（可选）；4) 使用强化学习方法优化翻译和推理策略。框架的关键在于翻译质量的评估和优化，以及如何将翻译质量的提升转化为推理性能的提升。

关键创新：TAPO的关键创新在于步级相对优势机制，它将理解（翻译）与推理过程解耦，允许独立地评估和奖励翻译质量，而不会与推理过程的优化目标产生冲突。这种解耦机制使得可以有效地利用翻译质量的反馈信号来提升整体性能。此外，使用英语作为枢纽语言进行推理也是一个重要的创新点，充分利用了现有大型语言模型在英语语境下的强大能力。

关键设计：TAPO使用步级相对优势机制来评估翻译质量，并将其作为奖励信号整合到强化学习过程中。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述，但摘要中未提及，因此未知。翻译模型的选择和训练策略也是关键的设计因素，需要根据具体的任务和数据集进行调整。

📊 实验亮点

TAPO在多语言数学推理和翻译任务中均优于基线方法，表明其能有效协同语言理解和推理能力。该方法在未见过的语言和领域外任务中也表现出良好的泛化能力，证明了其鲁棒性和实用性。具体的性能提升数据未知，需要在论文正文中查找。

🎯 应用场景

TAPO的研究成果可应用于多语言教育、跨境电商、国际科研合作等领域。通过提升机器对多语言数学问题的理解和推理能力，可以促进知识的跨语言传播和应用，降低语言障碍带来的信息获取成本，并为全球用户提供更智能化的服务。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable proficiency in English mathematical reasoning, yet a significant performance disparity persists in multilingual contexts, largely attributed to deficiencies in language understanding. To bridge this gap, we introduce Translation-Augmented Policy Optimization (TAPO), a novel reinforcement learning framework built upon GRPO. TAPO enforces an explicit alignment strategy where the model leverages English as a pivot and follows an understand-then-reason paradigm. Crucially, we employ a step-level relative advantage mechanism that decouples understanding from reasoning, allowing the integration of translation quality rewards without introducing optimization conflicts. Extensive experiments reveal that TAPO effectively synergizes language understanding with reasoning capabilities and is compatible with various models. It outperforms baseline methods in both multilingual mathematical reasoning and translation tasks, while generalizing well to unseen languages and out-of-domain tasks.