Cross-Lingual Consistency: A Novel Inference Framework for Advancing Reasoning in Large Language Models

📄 arXiv: 2504.01857v1 📥 PDF

作者: Zhiwei Yu, Tuo Li, Changhong Wang, Hui Chen, Lang Zhou

分类: cs.CL, cs.AI

发布日期: 2025-04-02

💡 一句话要点

提出跨语言一致性框架，提升大语言模型在复杂推理任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 跨语言一致性 推理能力 多语言学习 思维链 自洽性 数学问题求解

📋 核心要点

  1. 多语言训练语料库的语言偏差导致小参数LLM在复杂推理中出现语义漂移和逻辑不一致。
  2. 跨语言一致性框架通过整合多语言推理路径并进行多数投票，提升LLM的推理能力。
  3. 实验表明，该框架在CMATH和MGSM数据集上显著优于传统自洽性方法，提升了模型准确率。

📝 摘要（中文）

思维链（CoT）已成为增强大语言模型（LLM）推理能力的关键机制，其中自洽性在提升性能方面表现出显著潜力。然而，多语言训练语料库中固有的语言偏差经常导致语义漂移和逻辑不一致，尤其是在参数小于100亿的LLM处理复杂推理任务时。为了克服这些限制，我们提出了跨语言一致性（CLC）框架，这是一种创新的推理范式，它通过多数投票整合多语言推理路径，从而提升LLM的推理能力。在CMATH数据集上的实证评估表明，CLC优于传统的自洽性方法，DeepSeek-Math-7B-Instruct、Qwen2.5-Math-7B-Instruct和Gemma2-9B-Instruct的绝对准确率分别提高了9.5%、6.5%和6.0%。将CLC的语言范围扩展到11种不同的语言意味着两种协同优势：1）通过多语言集成投票来中和多语言训练语料库中的语言偏差，2）通过探索更广泛的多语言解决方案空间来逃避单语言推理陷阱。经验表明，与单语言自洽性基线相比，这种双重优势能够实现更全局最优的推理路径，Gemma2-9B-Instruct在MGSM数据集上的准确率提高了4.1%-18.5%就证明了这一点。

🔬 方法详解

问题定义：论文旨在解决大语言模型在多语言环境下进行复杂推理时，由于训练数据中的语言偏差导致的推理错误问题。现有方法，如自洽性推理，在小参数模型上容易受到特定语言的偏差影响，导致推理结果不准确。

核心思路：论文的核心思路是利用不同语言之间的差异来消除或减轻语言偏差的影响。通过将问题翻译成多种语言，并让模型用不同语言进行推理，然后通过多数投票的方式选择最终答案，从而提高推理的鲁棒性和准确性。这种方法类似于集成学习，利用多个模型的差异性来提高整体性能。

技术框架：CLC框架主要包含以下几个阶段：1）问题翻译：将原始问题翻译成多种不同的语言。2）多语言推理：使用大语言模型对每种语言的问题进行推理，生成相应的推理路径。3）答案提取：从每种语言的推理路径中提取最终答案。4）一致性投票：对所有提取的答案进行多数投票，选择得票最多的答案作为最终结果。

关键创新：该方法最重要的创新点在于利用跨语言的一致性来提高推理的准确性。与传统的单语言自洽性方法相比，CLC框架能够有效地消除语言偏差的影响，并探索更广泛的解空间，从而找到更优的推理路径。

关键设计：论文中关键的设计包括：1）选择合适的翻译模型，确保翻译质量。2）选择具有代表性的多种语言，以覆盖不同的语言特征。3）设计有效的答案提取方法，从推理路径中准确提取答案。4）采用多数投票策略，确保最终结果的可靠性。论文中使用了11种语言，并对不同语言的推理结果进行了加权平均，以进一步提高性能（具体权重设置未知）。

📊 实验亮点

实验结果表明，跨语言一致性框架在CMATH数据集上，分别使DeepSeek-Math-7B-Instruct、Qwen2.5-Math-7B-Instruct和Gemma2-9B-Instruct的准确率提高了9.5%、6.5%和6.0%。在MGSM数据集上，Gemma2-9B-Instruct的准确率提高了4.1%-18.5%。这些结果表明，该框架能够显著提升大语言模型在复杂推理任务中的性能，尤其是在小参数模型上效果更明显。

🎯 应用场景

该研究成果可应用于需要高精度推理的自然语言处理任务，例如数学问题求解、知识图谱推理、问答系统等。通过提升模型在多语言环境下的推理能力，可以更好地服务于全球用户，并为构建更加智能和可靠的人工智能系统奠定基础。未来，该方法可以扩展到其他模态，例如跨语言的图像理解和视频分析。

📄 摘要（原文）

Chain-of-thought (CoT) has emerged as a critical mechanism for enhancing reasoning capabilities in large language models (LLMs), with self-consistency demonstrating notable promise in boosting performance. However, inherent linguistic biases in multilingual training corpora frequently cause semantic drift and logical inconsistencies, especially in sub-10B parameter LLMs handling complex inference tasks. To overcome these constraints, we propose the Cross-Lingual Consistency (CLC) framework, an innovative inference paradigm that integrates multilingual reasoning paths through majority voting to elevate LLMs' reasoning capabilities. Empirical evaluations on the CMATH dataset reveal CLC's superiority over the conventional self-consistency method, delivering 9.5%, 6.5%, and 6.0% absolute accuracy gains for DeepSeek-Math-7B-Instruct, Qwen2.5-Math-7B-Instruct, and Gemma2-9B-Instruct respectively. Expanding CLC's linguistic scope to 11 diverse languages implies two synergistic benefits: 1) neutralizing linguistic biases in multilingual training corpora through multilingual ensemble voting, 2) escaping monolingual reasoning traps by exploring the broader multilingual solution space. This dual benefits empirically enables more globally optimal reasoning paths compared to monolingual self-consistency baselines, as evidenced by the 4.1%-18.5% accuracy gains using Gemma2-9B-Instruct on the MGSM dataset.