Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping
作者: Wenhao Zhu, Sizhe Liu, Shujian Huang, Shuaijie She, Chris Wendler, Jiajun Chen
分类: cs.CL
发布日期: 2024-07-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于语言无关层跳跃的多语言对比解码方法，提升LLM在多语言推理任务中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言 对比解码 语言模型 推理 层跳跃
📋 核心要点
- 现有对比层解码方法在非英语任务中表现不佳，主要原因是早期输出和最终输出之间存在语言不匹配。
- 通过跳过模型底部的一组语言无关层，获得更具信息量的业余logits，从而改进对比解码算法。
- 实验结果表明，该方法在多语言推理基准测试中优于现有方法，显著提升了LLM在多种语言中的推理准确性。
📝 摘要（中文）
本文提出了一种改进的对比解码算法，旨在提升大型语言模型（LLM）在非英语任务上的生成质量。现有的对比层解码（DoLa）方法通过对比早期输出（业余logits）和最终输出（专家logits）之间的预测概率来提高生成质量，但其在非英语任务上表现不佳。受先前关于模型前向传播过程中语言转换的可解释性研究的启发，我们发现问题源于早期输出和最终输出之间的语言不匹配。为了获得更有帮助的业余logits，我们设计了两种策略来跳过一组底部的、语言无关的层。在多语言推理基准测试上的实验结果表明，我们提出的方法优于先前的对比解码基线，并显著提高了LLM在11种语言中的思维链推理准确性。项目代码已开源。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在多语言场景下，特别是使用对比解码方法时，性能下降的问题。现有的对比解码方法，如DoLa，在英语任务上表现良好，但在非英语任务上效果不佳。其痛点在于，对比解码依赖于早期层和最终层输出的对比，而早期层可能包含与目标语言不一致的信息，导致对比效果变差。
核心思路：论文的核心思路是，通过跳过模型底部的一些语言无关层，使得早期层的输出更接近目标语言的表示，从而改善对比解码的效果。作者观察到，模型底部的层主要负责语言无关的特征提取，而语言相关的特征则位于更高的层。因此，跳过底部层可以减少语言不匹配带来的负面影响。
技术框架：该方法在标准的对比解码框架下进行改进。首先，确定需要跳过的层数。然后，在计算“业余logits”时，直接从跳过若干层后的中间层获取输出，而不是从最底层的输出。最后，使用改进后的“业余logits”与最终层的“专家logits”进行对比解码，生成最终结果。整体流程与标准对比解码一致，只是在获取“业余logits”的方式上有所不同。
关键创新：该方法最重要的创新点在于，它发现了对比解码在多语言场景下失效的原因，并提出了通过跳过语言无关层来解决这一问题。这种方法简单有效，不需要修改模型结构或训练过程，即可显著提升多语言性能。
关键设计：论文提出了两种跳过层数的策略。一种是固定跳过一定数量的层，另一种是根据模型的层数动态调整跳过的层数。具体实现上，可以通过修改模型的forward函数，使其在计算“业余logits”时，直接从指定的中间层开始计算。损失函数和解码策略与标准对比解码保持一致。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多语言推理基准测试中显著优于现有的对比解码方法。具体而言，在11种语言的思维链推理任务中，该方法取得了明显的性能提升，证明了其在多语言场景下的有效性。开源代码方便研究者复现和进一步研究。
🎯 应用场景
该研究成果可广泛应用于多语言自然语言处理任务，如机器翻译、跨语言信息检索、多语言文本摘要等。通过提升LLM在多语言环境下的推理和生成能力，可以更好地服务于全球用户，促进不同语言文化之间的交流与理解。未来，该方法可以进一步推广到更多语言和任务中，并与其他多语言技术相结合，构建更加强大的多语言智能系统。
📄 摘要（原文）
Decoding by contrasting layers (DoLa), is designed to improve the generation quality of large language models (LLMs) by contrasting the prediction probabilities between an early exit output (amateur logits) and the final output (expert logits). However, we find that this approach does not work well on non-English tasks. Inspired by previous interpretability work on language transition during the model's forward pass, we discover that this issue arises from a language mismatch between early exit output and final output. In this work, we propose an improved contrastive decoding algorithm that is effective for diverse languages beyond English. To obtain more helpful amateur logits, we devise two strategies to skip a set of bottom, language-agnostic layers based on our preliminary analysis. Experimental results on multilingual reasoning benchmarks demonstrate that our proposed method outperforms previous contrastive decoding baselines and substantially improves LLM's chain-of-thought reasoning accuracy across 11 languages. The project will be available at: https://github.com/NJUNLP/SkipLayerCD.