CM-Align: Consistency-based Multilingual Alignment for Large Language Models

📄 arXiv: 2509.08541v2 📥 PDF

作者: Xue Zhang, Yunlong Liang, Fandong Meng, Songming Zhang, Yufeng Chen, Jinan Xu, Jie Zhou

分类: cs.CL

发布日期: 2025-09-10 (更新: 2025-09-15)

备注: EMNLP 2025 Findings

💡 一句话要点

提出CM-Align，通过一致性多语言对齐提升大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言对齐 大语言模型 一致性学习 偏好优化 跨语言一致性

📋 核心要点

  1. 现有方法依赖英文响应作为参考，但英文响应质量参差不齐，导致多语言对齐出现偏差。
  2. CM-Align通过一致性引导的英文参考选择和跨语言一致性偏好构建，提升数据质量。
  3. 实验表明，CM-Align在多个LLM和任务上表现优异，验证了高质量偏好数据的重要性。

📝 摘要（中文）

当前的大语言模型（LLMs）通常在英语和其他语言之间的对齐方面表现出显著的性能差距。为了弥合这一差距，现有的研究通常利用模型在英语中的响应作为参考，来选择其他语言中最好/最差的响应，然后将其用于直接偏好优化（DPO）训练。然而，我们认为当前的方法存在两个局限性，导致多语言偏好数据存在噪声，并进一步限制了对齐性能：1) 并非所有英语响应都具有高质量，使用低质量的响应可能会误导其他语言的对齐。2) 当前的方法通常使用有偏见或启发式的方法来构建多语言偏好对。为了解决这些局限性，我们设计了一种基于一致性的数据选择方法，以构建高质量的多语言偏好数据，从而提高多语言对齐（CM-Align）。具体来说，我们的方法包括两个部分：一致性引导的英语参考选择和基于跨语言一致性的多语言偏好数据构建。在三个LLM和三个常见任务上的实验结果证明了我们方法的有效性和优越性，进一步表明了构建高质量偏好数据的必要性。

🔬 方法详解

问题定义：现有方法在进行多语言大语言模型对齐时，依赖于英文响应作为参考。然而，并非所有英文响应都具有高质量，低质量的英文响应会误导其他语言的对齐。此外，现有方法通常采用有偏见或启发式的方法构建多语言偏好对，导致偏好数据存在噪声，最终限制了多语言对齐的性能。

核心思路：CM-Align的核心思路是通过一致性来筛选高质量的英文参考响应，并基于跨语言一致性构建多语言偏好数据。通过确保英文参考响应的质量，并利用跨语言的一致性来减少偏好数据中的噪声，从而提高多语言对齐的性能。

技术框架：CM-Align主要包含两个阶段：1) 一致性引导的英文参考选择：利用多个大语言模型对同一问题生成多个英文响应，然后选择彼此之间一致性最高的响应作为参考。一致性可以通过计算不同响应之间的相似度来衡量。2) 基于跨语言一致性的多语言偏好数据构建：对于每个问题，首先翻译成多种语言，然后利用大语言模型生成多种语言的响应。然后，基于这些响应与英文参考响应之间的一致性，构建多语言偏好对。

关键创新：CM-Align的关键创新在于利用一致性作为筛选高质量英文参考响应和构建多语言偏好数据的标准。与现有方法相比，CM-Align避免了使用低质量的英文响应作为参考，并减少了偏好数据中的噪声，从而提高了多语言对齐的性能。

关键设计：在一致性引导的英文参考选择阶段，可以使用不同的相似度度量方法来衡量响应之间的一致性，例如余弦相似度、编辑距离等。在基于跨语言一致性的多语言偏好数据构建阶段，可以使用不同的方法来衡量多语言响应与英文参考响应之间的一致性，例如计算翻译后的响应与英文参考响应之间的相似度，或者使用跨语言检索模型来判断多语言响应是否与英文参考响应相关。

📊 实验亮点

实验结果表明，CM-Align在三个LLM和三个常见任务上均取得了显著的性能提升。相较于现有方法，CM-Align能够生成更高质量的多语言偏好数据，从而提高多语言对齐的性能。具体的性能数据和提升幅度在论文中详细展示，证明了CM-Align的有效性和优越性。

🎯 应用场景

CM-Align可应用于提升多语言大语言模型在各种自然语言处理任务中的性能，例如机器翻译、文本摘要、问答系统等。通过提高模型在不同语言之间的对齐能力，可以使其更好地理解和生成多语言文本，从而为全球用户提供更优质的服务。该方法还有助于构建更加公平和包容的人工智能系统。

📄 摘要（原文）

Current large language models (LLMs) generally show a significant performance gap in alignment between English and other languages. To bridge this gap, existing research typically leverages the model's responses in English as a reference to select the best/worst responses in other languages, which are then used for Direct Preference Optimization (DPO) training. However, we argue that there are two limitations in the current methods that result in noisy multilingual preference data and further limited alignment performance: 1) Not all English responses are of high quality, and using a response with low quality may mislead the alignment for other languages. 2) Current methods usually use biased or heuristic approaches to construct multilingual preference pairs. To address these limitations, we design a consistency-based data selection method to construct high-quality multilingual preference data for improving multilingual alignment (CM-Align). Specifically, our method includes two parts: consistency-guided English reference selection and cross-lingual consistency-based multilingual preference data construction. Experimental results on three LLMs and three common tasks demonstrate the effectiveness and superiority of our method, which further indicates the necessity of constructing high-quality preference data.