Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

📄 arXiv: 2609.26536v1 📥 PDF

作者: Yanghe Dong, Wanting Huang, Weiran Wang

分类: cs.CL, eess.AS

发布日期: 2026-09-22

备注: 5 pages

💡 一句话要点

提出联合奖励学习以解决语音翻译中的训练推理不匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音翻译 联合学习 强化微调 模型优化 自然语言处理

📋 核心要点

  1. 现有的基于转录的思维链方法在推理阶段与训练阶段存在显著不匹配，影响翻译效果。
  2. 本文提出通过组相对策略优化（GRPO）进行联合识别和翻译微调，以提高模型在推理时的表现。
  3. 实验结果显示，CoT GRPO在BLEU分数上显著优于Direct ST GRPO，并有效降低了字错误率。

📝 摘要（中文）

在基于大语言模型的语音翻译中，基于转录的思维链（CoT）面临着监督微调（SFT）中使用的参考转录与推理时模型生成的转录之间的不匹配。为了解决这一问题，本文提出了通过组相对策略优化（GRPO）进行联合识别和翻译微调的方法。我们对转录和翻译进行评分，翻译基于模型生成的转录，并比较三种标记优势策略。使用Qwen2.5-Omni-3B在四种语言上进行评估，结果表明CoT GRPO在CoVoST 2和FLEURS上分别比直接语音翻译（Direct ST）GRPO提高了1.77和0.83个平均BLEU点。与CoT SFT相比，GRPO分别提升了0.82和0.67个BLEU点，并将字错误率（WER）分别降低了8.8%和7.2%。这些结果突显了强化微调作为一种有效的方法，以减轻训练与推理之间的不匹配，同时共同改善识别和翻译。

🔬 方法详解

问题定义：本文旨在解决基于转录的思维链在推理阶段与训练阶段之间的转录不匹配问题。现有方法在监督微调中依赖于固定的参考转录，导致推理时生成的转录与训练时使用的参考转录不一致，从而影响翻译质量。

核心思路：论文提出的核心思路是通过组相对策略优化（GRPO）进行联合识别和翻译微调。该方法通过对模型生成的转录进行条件化翻译，旨在提高模型在推理阶段的表现，减少训练与推理之间的差距。

技术框架：整体架构包括两个主要模块：转录模块和翻译模块。转录模块负责生成语音的文本表示，而翻译模块则基于生成的转录进行翻译。通过GRPO，两个模块的训练过程是相互关联的，从而实现联合优化。

关键创新：最重要的技术创新点在于引入了联合奖励学习机制，通过对转录和翻译的评分进行优化，显著改善了模型的推理能力。这一方法与传统的单一任务训练方法有本质区别，能够更好地适应推理阶段的需求。

关键设计：在关键设计方面，论文详细描述了损失函数的构建，采用了多种标记优势策略来评估模型生成的转录和翻译的质量。此外，模型的参数设置和训练策略也经过精心设计，以确保在不同语言上的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，CoT GRPO在CoVoST 2和FLEURS数据集上分别比Direct ST GRPO提高了1.77和0.83个BLEU点。同时，与CoT SFT相比，GRPO在BLEU分数上提升了0.82和0.67个点，并且有效降低了字错误率（WER）8.8%和7.2%。这些结果证明了GRPO在语音翻译任务中的有效性。

🎯 应用场景

该研究的潜在应用场景包括实时语音翻译、跨语言交流和多语言会议系统等领域。通过提高语音翻译的准确性和流畅性，该方法能够在国际化交流中发挥重要作用，促进不同语言用户之间的理解与合作。未来，该技术有望在教育、旅游和商业等多个行业中得到广泛应用。

📄 摘要（原文）

In LLM-based speech translation, transcription-based chain-of-thought (CoT) suffers from a mismatch between reference transcripts used in supervised fine-tuning (SFT) and model-generated transcripts at inference. To address this, we propose joint recognition and translation fine-tuning via group relative policy optimization (GRPO). We score both transcripts and translations, with translation conditioned on model-generated transcripts, and compare three token advantage strategies. Using Qwen2.5-Omni-3B across four languages, we evaluate CoT against direct speech translation (Direct ST) under SFT and GRPO, training on CoVoST 2 and testing on CoVoST 2 and FLEURS. CoT GRPO outperforms Direct ST GRPO by 1.77 and 0.83 average BLEU points on CoVoST 2 and FLEURS. Compared to CoT SFT, GRPO boosts BLEU by 0.82 and 0.67 points and reduces word error rate (WER) by 8.8% and 7.2% relatively. These results highlight reinforcement fine-tuning as an effective method to mitigate the training-inference mismatch, jointly improving recognition and translation.