Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
作者: Wen Yang, Junhong Wu, Chen Wang, Chengqing Zong, Jiajun Zhang
分类: cs.CL, cs.AI
发布日期: 2025-03-06 (更新: 2025-06-05)
备注: Camera ready version for ACL 2025 Findings
🔗 代码/项目: GITHUB
💡 一句话要点
提出隐式跨语言奖励方法，高效实现多语言偏好对齐。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言偏好对齐 隐式奖励 跨语言迁移学习 直接偏好优化 大型语言模型
📋 核心要点
- 多语言偏好对齐面临数据稀缺的挑战，限制了非英语语言LLM的性能。
- 利用英语DPO对齐模型的隐式奖励，指导跨语言指令跟随对的偏好关系标注。
- 实验表明，该方法能有效提升多语言LLM在胜率和长度控制方面的性能。
📝 摘要（中文）
直接偏好优化（DPO）已成为将大型语言模型（LLM）与人类偏好对齐的重要方法。虽然DPO在对齐英语LLM方面取得了显著进展，但多语言偏好对齐受到数据稀缺的阻碍。为了解决这个问题，我们提出了一种新方法，通过隐式奖励$ extit{捕获}$来自良好对齐的英语模型中学习到的偏好，并通过迭代训练将它们$ extit{转移}$到其他语言。具体来说，我们从英语DPO对齐模型的logits及其对应的参考模型中推导出隐式奖励模型。然后，利用该奖励模型来注释跨语言指令跟随对中的偏好关系，使用英语指令来评估多语言响应。注释的数据随后用于多语言DPO微调，从而促进偏好知识从英语到其他语言的转移。对Llama3进行两次迭代的微调，在X-AlpacaEval排行榜上，所有训练语言的胜率平均提高了12.72%，长度控制胜率提高了5.97%。我们的研究结果表明，利用现有的英语对齐模型可以实现高效且有效多语言偏好对齐，从而显著减少对大量多语言偏好数据的需求。
🔬 方法详解
问题定义：论文旨在解决多语言环境下，由于缺乏足够的多语言偏好数据，导致大型语言模型难以与人类偏好对齐的问题。现有方法通常依赖于大量的人工标注数据，成本高昂且效率低下。因此，如何利用已有的、对齐良好的英语模型，高效地将偏好知识迁移到其他语言，是本研究要解决的核心问题。
核心思路：论文的核心思路是利用英语DPO对齐模型蕴含的隐式奖励信息，来指导多语言模型的偏好对齐。具体来说，通过分析英语DPO模型的logits，构建一个隐式奖励模型，该模型能够评估不同语言模型输出的优劣。然后，利用这个奖励模型自动标注跨语言指令跟随对的偏好关系，从而生成用于多语言DPO微调的训练数据。
技术框架：整体框架包含以下几个主要阶段： 1. 隐式奖励模型构建：基于英语DPO对齐模型及其参考模型，提取logits信息，构建隐式奖励模型。 2. 跨语言数据标注：利用隐式奖励模型，对跨语言指令跟随对进行偏好关系标注，生成训练数据。 3. 多语言DPO微调：使用标注后的数据，对多语言模型进行DPO微调，实现偏好知识迁移。
关键创新：本研究的关键创新在于提出了隐式跨语言奖励的概念，并将其应用于多语言偏好对齐。与传统的依赖人工标注数据的方法不同，该方法能够自动地从已有的英语模型中提取偏好信息，并将其迁移到其他语言，从而大大降低了数据标注的成本和工作量。
关键设计： 1. 隐式奖励模型：奖励模型基于英语DPO对齐模型的logits及其对应的参考模型构建，具体形式未知（论文未明确给出数学公式）。 2. 数据标注策略：使用英语指令评估多语言响应，利用奖励模型对响应进行排序，生成偏好关系。 3. DPO微调：使用标注后的数据，采用标准的DPO损失函数进行微调。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用该方法对Llama3进行两次迭代的微调，在X-AlpacaEval排行榜上，所有训练语言的胜率平均提高了12.72%，长度控制胜率提高了5.97%。这些数据表明，该方法能够有效地将英语模型的偏好知识迁移到其他语言，显著提升多语言LLM的性能。
🎯 应用场景
该研究成果可广泛应用于多语言大型语言模型的对齐和优化，尤其是在缺乏高质量多语言偏好数据的场景下。通过利用已有的英语对齐模型，可以快速构建其他语言的对齐模型，提升多语言LLM在对话、问答、文本生成等任务中的性能，从而更好地服务于全球用户。未来，该方法可以扩展到更多语言和任务，进一步推动多语言人工智能的发展。
📄 摘要（原文）
Direct Preference Optimization (DPO) has become a prominent method for aligning Large Language Models (LLMs) with human preferences. While DPO has enabled significant progress in aligning English LLMs, multilingual preference alignment is hampered by data scarcity. To address this, we propose a novel approach that $\textit{captures}$ learned preferences from well-aligned English models by implicit rewards and $\textit{transfers}$ them to other languages through iterative training. Specifically, we derive an implicit reward model from the logits of an English DPO-aligned model and its corresponding reference model. This reward model is then leveraged to annotate preference relations in cross-lingual instruction-following pairs, using English instructions to evaluate multilingual responses. The annotated data is subsequently used for multilingual DPO fine-tuning, facilitating preference knowledge transfer from English to other languages. Fine-tuning Llama3 for two iterations resulted in a 12.72% average improvement in Win Rate and a 5.97% increase in Length Control Win Rate across all training languages on the X-AlpacaEval leaderboard. Our findings demonstrate that leveraging existing English-aligned models can enable efficient and effective multilingual preference alignment, significantly reducing the need for extensive multilingual preference data. The code is available at https://github.com/ZNLP/Implicit-Cross-Lingual-Rewarding