Multilingual Fine-Tuning via Localized Gradient Conflict Resolution

📄 arXiv: 2606.05613v1 📥 PDF

作者: Long P. Hoang, Yiran Zhao, Wei Lu, Wenxuan Zhang

分类: cs.AI

发布日期: 2026-06-04

💡 一句话要点

提出基于局部梯度冲突解决的多语言微调方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言微调 多目标优化 大型语言模型 梯度冲突解决 跨语言性能

📋 核心要点

  1. 现有的多语言微调方法常常导致不同语言间的负面干扰，影响模型的跨语言性能。
  2. 本文提出了一种将多语言微调视为多目标优化问题的框架，利用局部梯度冲突解决策略来优化模型。
  3. 实验结果表明，所提方法在四个基础LLMs上显著提升了已见和未见的多语言性能，优于标准微调方法。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展使得跨语言的多样性成为现代系统的一个重要特征。然而，微调这些模型时常会导致语言间的负面干扰。为了解决这一问题，本文将多语言微调重新表述为多目标优化（MOO）问题，提出了桶级MOO这一可扩展的分布式框架，能够在参数桶上局部应用基于梯度的MOO算法，从而实现冲突感知的更新，避免了重构完整梯度向量的高通信开销。理论上，我们证明了这种局部解决方案自然地强制执行了精细的帕累托平稳性，这是帕累托最优性的一个更严格的必要条件。实验证明，桶级MOO通过推动LLMs构建不同的语言特定维度，显著改善了多语言性能。

🔬 方法详解

问题定义：本文旨在解决多语言微调中存在的负面干扰问题，现有方法在跨语言性能上表现不佳，难以有效区分不同语言的特征。

核心思路：通过将多语言微调重新定义为多目标优化问题，采用桶级MOO框架，在参数桶上局部应用梯度优化算法，从而实现冲突感知的更新。

技术框架：整体架构包括数据预处理、模型参数分桶、局部梯度计算和更新四个主要模块。每个模块协同工作，以实现高效的多语言微调。

关键创新：最重要的创新点在于引入了桶级MOO框架，能够在不重构完整梯度向量的情况下，进行高效的局部优化，显著降低了通信开销。

关键设计：在参数设置上，采用了精细的桶划分策略，损失函数设计上引入了多目标优化的思想，以确保不同语言特征的有效分离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提的桶级MOO方法在四个基础LLMs上，相较于标准微调方法，提升了多语言性能，尤其在未见语言的表现上有显著改善，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和多语言对话系统等。通过提高模型在不同语言间的表现，能够更好地服务于全球用户，推动多语言AI技术的普及与应用。

📄 摘要（原文）

The rapid evolution of Large Language Models (LLMs) has established cross-lingual versatility as a defining feature of modern systems. However, fine-tuning these models frequently induces negative interference across languages. To address this, we reformulate multilingual fine-tuning as a multi-objective optimization (MOO) problem. Specifically, we introduce Bucket-Level MOO, a scalable distributed framework that applies gradient-based MOO algorithms locally on parameter buckets. This enables conflict-aware updates without the prohibitive communication overhead of reconstructing full gradient vectors. Theoretically, we prove this localized resolution natively enforces Refined Pareto Stationarity, a strictly tighter necessary condition for Pareto optimality. Empirically, Bucket-Level MOO mitigates interference by driving LLMs to construct distinct language-specific dimensions, improving representational separability. Extensive experiments across four base LLMs demonstrate that our method significantly improves both seen and unseen multilingual performance over standard fine-tuning paradigms.