Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics

📄 arXiv: 2508.11017v2 📥 PDF

作者: Carter Blum, Katja Filippova, Ann Yuan, Asma Ghandeharioun, Julian Zimmert, Fred Zhang, Jessica Hoffmann, Tal Linzen, Martin Wattenberg, Lucas Dixon, Mor Geva

分类: cs.CL, cs.AI

发布日期: 2025-08-14 (更新: 2025-08-28)

💡 一句话要点

研究LLM跨语言知识迁移失败问题，揭示统一表征的重要性并提出调控方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言知识迁移 大型语言模型 统一表征 Transformer模型 合成数据集

📋 核心要点

  1. 大型语言模型在跨语言知识迁移中存在“幻觉”问题，即无法在不同语言间正确关联知识。
  2. 通过在合成数据集上训练小型Transformer模型，研究跨语言知识表征的统一性对迁移学习的影响。
  3. 发现统一的表征是跨语言迁移的关键，并提出通过数据分布和tokenization来调控迁移水平的方法。

📝 摘要（中文）

大型语言模型(LLMs)在跨语言知识迁移方面表现不佳：当用一种语言提问关于训练期间用另一种语言表达的事实时，它们会产生幻觉。本文通过从头开始在合成多语言数据集上训练小型Transformer模型，引入了一个受控环境来研究这种现象的原因和动态。我们识别出一个学习阶段，在此阶段模型发展出相同事实的独立或统一的跨语言表征，并表明统一对于跨语言迁移至关重要。我们还表明，统一的程度取决于事实与训练数据语言之间的互信息，以及提取该语言的难易程度。基于这些见解，我们开发了通过操纵数据分布和tokenization来调节跨语言迁移水平的方法，并引入了指标和可视化来正式表征它们对统一的影响。我们的工作表明，受控环境如何能够揭示预训练动态，并为改进LLM中的跨语言迁移提出新的方向。

🔬 方法详解

问题定义：大型语言模型在跨语言知识迁移时表现出“幻觉”现象，即无法将在一种语言中学到的知识正确地应用到另一种语言的提问中。现有的方法难以解释这种现象的根本原因，也缺乏有效的调控手段。因此，论文旨在研究跨语言知识迁移失败的内在机制，并探索提升跨语言迁移性能的方法。

核心思路：论文的核心思路是通过构建一个受控的实验环境，使用合成的多语言数据集训练小型Transformer模型，从而精确地分析模型在学习过程中跨语言知识表征的形成和演变。通过观察模型如何学习并统一不同语言中相同的事实，来理解跨语言迁移的本质。

技术框架：整体框架包括以下几个主要步骤：1) 构建合成多语言数据集，其中包含用不同语言表达的相同事实；2) 从头开始训练小型Transformer模型；3) 监控模型在训练过程中跨语言知识表征的变化，特别是“统一性”的程度；4) 设计指标和可视化方法来量化和分析表征的统一性；5) 通过操纵数据分布和tokenization等因素，来调控跨语言迁移的水平。

关键创新：最重要的技术创新点在于：1) 提出了一个受控的实验环境，能够精确地研究跨语言知识迁移的动态过程；2) 强调了跨语言知识表征的“统一性”对于跨语言迁移的重要性，并提出了量化统一性的指标；3) 提出了通过操纵数据分布和tokenization来调控跨语言迁移水平的方法。与现有方法相比，该研究更注重对跨语言迁移内在机制的理解和调控。

关键设计：论文的关键设计包括：1) 使用合成数据集，可以精确控制数据中的语言和事实之间的关系；2) 使用小型Transformer模型，降低了计算成本，便于进行大量的实验；3) 设计了互信息等指标来量化事实和语言之间的关联程度；4) 通过调整数据集中不同语言的比例，以及使用不同的tokenization方法，来改变模型学习跨语言知识的方式。

📊 实验亮点

实验结果表明，跨语言知识表征的统一性是影响跨语言迁移性能的关键因素。通过操纵数据分布和tokenization，可以有效地调控跨语言迁移的水平。例如，增加事实与训练数据语言之间的互信息可以促进表征的统一，从而提高跨语言迁移的性能。此外，论文还提出了量化表征统一性的指标，为进一步研究跨语言迁移提供了有效的工具。

🎯 应用场景

该研究成果可应用于提升大型语言模型的跨语言理解和生成能力，例如改进机器翻译、跨语言信息检索、多语言对话系统等。通过更好地理解和控制跨语言知识迁移，可以构建更加通用和智能的语言模型，从而促进不同语言和文化之间的交流与合作。

📄 摘要（原文）

Large language models (LLMs) struggle with cross-lingual knowledge transfer: they hallucinate when asked in one language about facts expressed in a different language during training. This work introduces a controlled setting to study the causes and dynamics of this phenomenon by training small Transformer models from scratch on synthetic multilingual datasets. We identify a learning phase wherein a model develops either separate or unified representations of the same facts across languages, and show that unification is essential for cross-lingual transfer. We also show that the degree of unification depends on mutual information between facts and training data language, and on how easy it is to extract that language. Based on these insights, we develop methods to modulate the level of cross-lingual transfer by manipulating data distribution and tokenization, and we introduce metrics and visualizations to formally characterize their effects on unification. Our work shows how controlled settings can shed light on pre-training dynamics and suggests new directions for improving cross-lingual transfer in LLMs.