CCL-XCoT: An Efficient Cross-Lingual Knowledge Transfer Method for Mitigating Hallucination Generation

📄 arXiv: 2507.14239v1 📥 PDF

作者: Weihua Zheng, Roy Ka-Wei Lee, Zhengyuan Liu, Kui Wu, AiTi Aw, Bowei Zou

分类: cs.CL, cs.AI

发布日期: 2025-07-17

💡 一句话要点

提出CCL-XCoT框架，通过跨语言知识迁移缓解多语言大模型中的幻觉生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言大模型 幻觉缓解 跨语言知识迁移 对比学习 思维链

📋 核心要点

  1. 多语言大模型在低资源语言中易产生幻觉，影响特定领域生成任务的准确性。
  2. CCL-XCoT框架通过课程对比学习增强跨语言语义对齐，并利用跨语言思维链提示进行推理。
  3. 实验表明，CCL-XCoT能显著降低幻觉率，提升跨语言知识迁移，最高降低62%。

📝 摘要（中文）

多语言大型语言模型(MLLM)在跨语言方面表现出强大的泛化能力，但由于训练数据的不平衡，它们仍然容易产生幻觉，尤其是在低资源语言中。这些幻觉，包括不准确或捏造的输出，在特定领域的生成任务中尤其成问题。为了应对这一挑战，我们提出了一种基于课程对比学习的跨语言思维链(CCL-XCoT)方法，这是一个用于缓解MLLM中幻觉的两阶段微调框架。我们的方法首先通过基于课程的对比学习与持续预训练期间的下一个token预测相结合，来增强跨语言的语义对齐。在此基础上，我们在指令微调期间引入了一种跨语言的思维链(XCoT)提示策略，该策略引导模型在高资源语言中进行推理，然后在目标低资源语言中生成答案。实验结果表明，CCL-XCoT将幻觉率降低了高达62%，并显著提高了跨语言对的事实知识迁移，而无需依赖外部检索或多模型集成。

🔬 方法详解

问题定义：多语言大模型（MLLMs）在低资源语言上的幻觉问题，即生成不准确或捏造的内容，尤其是在领域相关的生成任务中。现有方法在处理低资源语言时，由于训练数据不足，模型容易产生幻觉，影响模型的可靠性和实用性。

核心思路：CCL-XCoT的核心思路是通过跨语言知识迁移，利用高资源语言的知识来提升低资源语言的生成质量，从而减少幻觉。具体来说，首先通过对比学习增强跨语言的语义对齐，然后利用跨语言的思维链（XCoT）提示策略，引导模型在高资源语言中进行推理，再将推理结果迁移到低资源语言的生成过程中。

技术框架：CCL-XCoT框架包含两个主要阶段：1) 基于课程的对比学习的持续预训练阶段：通过对比学习，使不同语言的相似语义表达在向量空间中更接近，从而增强跨语言的语义对齐。课程学习则逐步增加学习难度，先学习简单的跨语言对齐，再学习复杂的。同时结合下一个token预测任务，保持模型的语言建模能力。2) 基于跨语言思维链（XCoT）的指令微调阶段：利用XCoT提示策略，首先让模型用高资源语言进行推理，然后将推理过程作为提示，引导模型用低资源语言生成答案。

关键创新：CCL-XCoT的关键创新在于：1) 结合课程学习的对比学习方法，更有效地增强了跨语言的语义对齐。2) 提出了跨语言思维链（XCoT）提示策略，利用高资源语言的推理能力来提升低资源语言的生成质量。3) 整个框架不需要依赖外部检索或多模型集成，更加高效和简洁。

关键设计：在对比学习阶段，采用了InfoNCE损失函数，目标是拉近语义相似的跨语言句子表示，推远语义不相似的句子表示。课程学习的具体实现方式未知，但推测是根据句子难度或语言相似度进行排序。XCoT提示策略的关键在于如何选择合适的高资源语言进行推理，以及如何有效地将推理过程融入到低资源语言的生成过程中。具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CCL-XCoT框架能够显著降低多语言大模型在低资源语言上的幻觉率，最高可达62%。同时，该方法也显著提高了跨语言对的事实知识迁移能力。与现有方法相比，CCL-XCoT无需依赖外部检索或多模型集成，具有更高的效率和简洁性。具体的性能提升数据和对比基线未知。

🎯 应用场景

该研究成果可应用于多语言智能客服、跨语言机器翻译、多语言内容生成等领域。通过降低低资源语言的幻觉率，可以提高多语言大模型在实际应用中的可靠性和用户体验。未来，该方法可以推广到更多低资源语言，并与其他技术（如知识图谱、外部检索）相结合，进一步提升生成质量。

📄 摘要（原文）

Multilingual Large Language Models(MLLMs) demonstrate strong generalization across languages, yet they remain prone to hallucinations, especially in low-resource languages, due to training data imbalances. These hallucinations, which include inaccurate or fabricated outputs, are particularly problematic in domain-specific generation tasks (Chataigner et al., 2024). To address this challenge, we propose CCL-XCoT(Curriculum-based Contrastive Learning-based Cross-lingual Chain-of-Thought), a two-stage fine-tuning framework for mitigating hallucination in MLLMs. Our approach first enhances cross-lingual semantic alignment through curriculum-based contrastive learning combined with next-token prediction during continued pre-training. Building on this foundation, we then introduce a cross-lingual Chain-of-Thought (XCoT) prompting strategy during instruction fine-tuning, which guides the model to reason in a high-resource language before generating answers in the target low-resource language. Experimental results show that CCL-XCoT reduces hallucination rates by up to 62% and substantially improves factual knowledge transfer across language pairs, without relying on external retrieval or multi-model ensembles.