Selected Languages are All You Need for Cross-lingual Truthfulness Transfer

📄 arXiv: 2406.14434v3 📥 PDF

作者: Weihao Liu, Ning Wu, Wenbiao Ding, Shining Liang, Ming Gong, Dongmei Zhang

分类: cs.CL

发布日期: 2024-06-20 (更新: 2025-03-03)

备注: 16 pages, COLING2025

💡 一句话要点

提出FaMSS，通过选择性语言协同提升跨语言大语言模型的真实性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言学习 真实性评估 大语言模型 指令微调 多语言对齐

📋 核心要点

  1. 大语言模型在多语言场景下的真实性存在显著差距，尤其是在非英语语种上。
  2. FaMSS通过选择具有代表性的语言子集进行协同训练，从而优化跨语言真实性迁移。
  3. 实验表明，FaMSS能够有效提升大语言模型在多语言环境下的真实性表现。

📝 摘要（中文）

真实性是大语言模型（LLMs）面临的一项重要挑战。尽管已有大量工作致力于提升真实性，但鲜有研究关注多语言场景下的真实性。同时，现有的多语言对齐技术难以平衡众多语言，并且在不同语言之间表现出严重的真实性差距，尤其是在那些与英语差异很大的语言中。本文将真实性评估扩展到多语言环境，并提出了一种实用的跨语言真实性迁移方法，称为Fact-aware Multilingual Selective Synergy (FaMSS)。FaMSS能够通过语言偏差和迁移贡献选择所有测试语言的最佳子集，然后采用翻译指令微调进行跨语言真实性迁移。实验结果表明，该方法能够有效减少多语言表示差异，并提升LLMs的跨语言真实性迁移。

🔬 方法详解

问题定义：论文旨在解决大语言模型在跨语言场景下真实性不足的问题。现有方法在多语言对齐时，难以兼顾所有语言的真实性，尤其是在与英语差异较大的语言中，模型表现往往较差。这主要是因为不同语言之间存在表示差异，导致模型无法有效迁移知识。

核心思路：论文的核心思路是通过选择一个最优的语言子集进行协同训练，从而减少多语言表示差异，提升跨语言真实性迁移的效果。该方法基于语言偏差和迁移贡献来选择语言子集，确保所选语言能够最大程度地提升目标语言的真实性。

技术框架：FaMSS (Fact-aware Multilingual Selective Synergy) 的整体框架包含以下几个主要步骤：1) 多语言真实性评估：首先，对不同语言的大语言模型进行真实性评估，确定各语言的真实性水平。2) 语言选择：基于语言偏差和迁移贡献，选择一个最优的语言子集。语言偏差衡量了源语言与目标语言之间的差异，迁移贡献衡量了源语言对目标语言真实性的提升潜力。3) 翻译指令微调：使用所选语言子集的数据，通过翻译指令微调来提升目标语言的真实性。

关键创新：FaMSS的关键创新在于其语言选择策略。传统的跨语言迁移方法通常使用所有可用的源语言，而FaMSS则通过选择一个最优的语言子集，避免了负迁移的风险，并提高了迁移效率。此外，FaMSS还考虑了语言偏差和迁移贡献两个因素，从而更准确地评估了不同语言对目标语言真实性的影响。

关键设计：在语言选择阶段，论文定义了语言偏差和迁移贡献的计算方法。语言偏差可以通过计算不同语言表示之间的距离来衡量。迁移贡献可以通过评估使用源语言数据微调后，目标语言真实性的提升幅度来衡量。在翻译指令微调阶段，论文使用了标准的指令微调方法，并针对不同语言的特点进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FaMSS能够有效提升大语言模型在多语言环境下的真实性。例如，在某些语言上，FaMSS可以将模型的真实性提升超过10%。与传统的跨语言迁移方法相比，FaMSS能够取得显著的性能提升，并且具有更高的迁移效率。

🎯 应用场景

该研究成果可应用于多语言智能客服、跨语言信息检索、多语言内容生成等领域。通过提升大语言模型在多语言环境下的真实性，可以提高用户体验，减少错误信息的传播，并促进不同语言文化之间的交流与理解。未来，该方法可以进一步扩展到更多语言和领域，为构建更加可靠和可信的多语言人工智能系统奠定基础。

📄 摘要（原文）

Truthfulness stands out as an essential challenge for Large Language Models (LLMs). Although many works have developed various ways for truthfulness enhancement, they seldom focus on truthfulness in multilingual scenarios. Meanwhile, contemporary multilingual aligning technologies struggle to balance numerous languages and often exhibit serious truthfulness gaps across different languages, especially those that differ greatly from English. In our work, we extend truthfulness evaluation to multilingual contexts and propose a practical method for cross-lingual truthfulness transfer called Fact-aware Multilingual Selective Synergy (FaMSS). FaMSS is able to select an optimal subset of all tested languages by language bias and transfer contributions, and then employ translation instruction tuning for cross-lingual truthfulness transfer. Experimental results demonstrate that our approach can effectively reduce the multilingual representation disparity and boost cross-lingual truthfulness transfer of LLMs.