Paths Not Taken: Understanding and Mending the Multilingual Factual Recall Pipeline

📄 arXiv: 2505.20546v2 📥 PDF

作者: Meng Lu, Ruochen Zhang, Carsten Eickhoff, Ellie Pavlick

分类: cs.CL

发布日期: 2025-05-26 (更新: 2025-05-28)

💡 一句话要点

揭示多语言LLM事实性召回pipeline，提出向量干预提升跨语言一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言LLM 事实性召回 机制分析 向量干预 跨语言一致性

📋 核心要点

  1. 多语言LLM在不同语言的事实性召回任务中表现不一致，英语性能显著优于其他语言，但根本原因尚不明确。
  2. 论文通过机制分析揭示LLM使用以英语为中心的pipeline处理多语言查询，并提出两种语言无关的向量干预方法。
  3. 实验结果表明，提出的向量干预方法能有效提升低性能语言的事实召回准确率，最高提升超过35%。

📝 摘要（中文）

多语言大型语言模型（LLM）在不同语言中表现出事实不一致性，在英语的事实召回任务中性能明显优于其他语言。然而，这些失败的原因仍然知之甚少。通过机制分析技术，我们揭示了LLM采用的底层pipeline，该pipeline涉及使用以英语为中心的的事实召回机制来处理多语言查询，然后将英语答案翻译回目标语言。我们确定了两个主要的错误来源：一是可靠的以英语为中心的的事实召回机制的参与不足，二是将英语错误地翻译回目标语言以获得最终答案。为了解决这些漏洞，我们引入了两种向量干预，这两种干预都独立于语言和数据集，以将模型重定向到更好的内部路径，从而提高事实一致性。我们的干预措施相结合，将表现最差的语言的召回准确率提高了35%以上。我们的研究结果表明，机制洞察如何用于释放LLM中潜在的多语言能力。

🔬 方法详解

问题定义：论文旨在解决多语言大型语言模型（LLM）在不同语言中事实性召回性能差异显著的问题，尤其是在非英语语言上的表现远低于英语。现有方法未能充分理解LLM处理多语言信息时的内部机制，导致无法有效提升跨语言的事实一致性。

核心思路：论文的核心思路是通过机制分析，揭示LLM在处理多语言事实性召回任务时所采用的pipeline，发现其依赖于以英语为中心的机制。然后，通过向量干预，引导模型更好地利用该机制，并纠正翻译过程中的错误，从而提升整体性能。

技术框架：论文的技术框架主要包含三个阶段：1) 机制分析：通过探查LLM内部的激活模式，确定其处理多语言查询时所依赖的pipeline。2) 错误定位：识别pipeline中的关键错误来源，包括英语中心机制的参与不足和翻译错误。3) 向量干预：设计并实施向量干预，以纠正错误并引导模型走向更优的内部路径。

关键创新：论文的关键创新在于：1) 揭示了多语言LLM事实性召回的英语中心pipeline。2) 提出了两种语言和数据集无关的向量干预方法，可以直接作用于模型的内部表示，无需重新训练或微调。3) 通过机制分析指导干预策略的设计，提高了干预的有效性和泛化能力。

关键设计：论文的关键设计包括：1) 机制分析方法：具体采用何种探查技术来追踪信息在模型内部的流动，例如因果追踪或激活分析。2) 向量干预策略：如何选择干预的位置和方向，以及如何确定干预向量的大小和形状。3) 实验评估方案：如何设计实验来验证干预的有效性，包括选择哪些数据集、评估指标和基线模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，论文提出的向量干预方法能够显著提升多语言LLM的事实召回准确率，对于表现最差的语言，准确率提升超过35%。该方法无需针对特定语言或数据集进行训练，具有良好的泛化能力。与现有方法相比，该方法能够更有效地利用LLM内部的知识表示，实现更准确和一致的跨语言推理。

🎯 应用场景

该研究成果可应用于提升多语言LLM在各种知识密集型任务中的性能，例如跨语言信息检索、机器翻译和问答系统。通过提高LLM的跨语言事实一致性，可以减少错误信息的传播，增强模型在不同文化和语言环境下的可靠性和实用性，促进全球范围内的知识共享和交流。

📄 摘要（原文）

Multilingual large language models (LLMs) often exhibit factual inconsistencies across languages, with significantly better performance in factual recall tasks in English than in other languages. The causes of these failures, however, remain poorly understood. Using mechanistic analysis techniques, we uncover the underlying pipeline that LLMs employ, which involves using the English-centric factual recall mechanism to process multilingual queries and then translating English answers back into the target language. We identify two primary sources of error: insufficient engagement of the reliable English-centric mechanism for factual recall, and incorrect translation from English back into the target language for the final answer. To address these vulnerabilities, we introduce two vector interventions, both independent of languages and datasets, to redirect the model toward better internal paths for higher factual consistency. Our interventions combined increase the recall accuracy by over 35 percent for the lowest-performing language. Our findings demonstrate how mechanistic insights can be used to unlock latent multilingual capabilities in LLMs.