CM-Align: Consistency-based Multilingual Alignment for Large Language Models

📄 arXiv: 2509.08541v2 📥 PDF

作者: Xue Zhang, Yunlong Liang, Fandong Meng, Songming Zhang, Yufeng Chen, Jinan Xu, Jie Zhou

分类: cs.CL

发布日期: 2025-09-10 (更新: 2025-09-15)

备注: EMNLP 2025 Findings

💡 一句话要点

CM-Align：基于一致性的多语言对齐方法，提升大语言模型的多语言性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言对齐 大语言模型 偏好优化 一致性学习 跨语言一致性

📋 核心要点

  1. 现有方法依赖英文响应作为参考，但英文响应质量参差不齐，导致多语言对齐出现偏差。
  2. CM-Align通过一致性评估筛选高质量英文参考，并利用跨语言一致性构建多语言偏好数据。
  3. 实验表明，CM-Align在多个LLM和任务上表现优异，验证了高质量偏好数据的重要性。

📝 摘要（中文）

当前的大语言模型(LLMs)在英语和其他语言之间的对齐方面通常表现出显著的性能差距。为了弥合这一差距，现有的研究通常利用模型在英语中的响应作为参考，来选择其他语言中最好/最差的响应，然后用于直接偏好优化(DPO)训练。然而，我们认为当前的方法存在两个局限性，导致多语言偏好数据存在噪声，并进一步限制了对齐性能：1)并非所有英语响应都具有高质量，使用低质量的响应可能会误导其他语言的对齐。2)当前的方法通常使用有偏见或启发式的方法来构建多语言偏好对。为了解决这些局限性，我们设计了一种基于一致性的数据选择方法，以构建高质量的多语言偏好数据，从而提高多语言对齐(CM-Align)。具体来说，我们的方法包括两个部分：一致性引导的英语参考选择和基于跨语言一致性的多语言偏好数据构建。在三个LLM和三个常见任务上的实验结果证明了我们方法的有效性和优越性，进一步表明了构建高质量偏好数据的必要性。

🔬 方法详解

问题定义：现有的大语言模型在多语言对齐方面存在显著的性能差距，尤其是在非英语语言上。现有的方法主要依赖于英文响应作为参考来构建多语言偏好数据，但这些方法存在两个主要问题：一是英文响应本身的质量无法保证，低质量的英文响应会误导其他语言的对齐；二是构建多语言偏好对时，通常采用有偏见或启发式的方法，导致偏好数据存在噪声。

核心思路：CM-Align的核心思路是通过一致性评估来筛选高质量的英文参考响应，并利用跨语言一致性来构建更可靠的多语言偏好数据。通过确保英文参考响应的质量，并利用不同语言之间的内在一致性，可以减少噪声数据，从而提高多语言对齐的性能。

技术框架：CM-Align方法主要包含两个阶段：1) 一致性引导的英语参考选择：利用某种一致性指标（具体指标未知）来评估英文响应的质量，并选择高质量的英文响应作为参考。2) 基于跨语言一致性的多语言偏好数据构建：利用跨语言的一致性来构建多语言偏好对，例如，如果一个英文响应被认为是好的，那么在其他语言中，与其语义一致的响应也应该被认为是好的。

关键创新：CM-Align的关键创新在于其基于一致性的数据选择方法。与现有方法不同，CM-Align不盲目地使用所有英文响应作为参考，而是通过一致性评估来筛选高质量的英文响应，从而减少了噪声数据的引入。此外，CM-Align还利用跨语言一致性来构建多语言偏好数据，进一步提高了数据的可靠性。

关键设计：论文中没有详细说明一致性指标的具体选择和实现方式，以及跨语言一致性是如何具体应用的。这些细节需要参考论文原文才能进一步了解。损失函数和网络结构方面，论文主要关注数据构建，训练方法采用DPO，没有特别说明是否对DPO的损失函数进行了修改。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CM-Align方法在三个不同的LLM和三个常见的任务上都取得了显著的性能提升。具体的数据和提升幅度需要在论文中查找。实验结果验证了CM-Align方法的有效性和优越性，并进一步表明了构建高质量偏好数据对于多语言对齐的重要性。

🎯 应用场景

CM-Align方法可以应用于各种需要多语言支持的大语言模型，例如多语言聊天机器人、多语言机器翻译、多语言信息检索等。通过提高模型的多语言对齐能力，可以显著提升模型在非英语语言上的性能，从而更好地服务于全球用户。该方法对于构建更加公平和普惠的人工智能系统具有重要意义。

📄 摘要（原文）

Current large language models (LLMs) generally show a significant performance gap in alignment between English and other languages. To bridge this gap, existing research typically leverages the model's responses in English as a reference to select the best/worst responses in other languages, which are then used for Direct Preference Optimization (DPO) training. However, we argue that there are two limitations in the current methods that result in noisy multilingual preference data and further limited alignment performance: 1) Not all English responses are of high quality, and using a response with low quality may mislead the alignment for other languages. 2) Current methods usually use biased or heuristic approaches to construct multilingual preference pairs. To address these limitations, we design a consistency-based data selection method to construct high-quality multilingual preference data for improving multilingual alignment (CM-Align). Specifically, our method includes two parts: consistency-guided English reference selection and cross-lingual consistency-based multilingual preference data construction. Experimental results on three LLMs and three common tasks demonstrate the effectiveness and superiority of our method, which further indicates the necessity of constructing high-quality preference data.